Anatomie d'une bulle

Dr Thomas Gerbaud
Dr Antoine Gerbaud
Publication: Février 2025
Rédaction: hiver 2023 - printemps 2024
timestamp: 1741281030

Résumé

Le troisième printemps de l'IA a commencé en 2016, année où AlphaGo a battu un champion humain au jeu de go. La victoire de ce programme développé par Google DeepMind est symbolique. L'impact technique et médiatique est fort. Le grand public et le monde économique redécouvrent l'intelligence artificielle .

L'intérêt pour l'intelligence artificielle est cyclique. Depuis les années 1950, l'alternance entre printemps et hivers se répète. Au printemps tout s'affole, les budgets affluent et la communication est débridée. Pendant l'hiver tout se repose et sédimente. Les deux premiers printemps ont concerné l'approche symbolique et les systèmes experts. Le printemps actuel est causé par les progrès remarquables d'une classe d'algorithmes particulière : les réseaux de neurones profonds, ou deep learning. Nous parlons de bulle du deep learning ou bulle deep.

Ces algorithmes d'apprentissage automatique (machine learning) forment un sous-domaine de l'intelligence artificielle. Ils permettent de construire des outils d'aide à la décision à partir du traitement mathématique de bases de données. Ces bases de données peuvent contenir des millions ou des milliards d'objets. Les progrès techniques des années 2000-2010 ont permis de relancer l'intérêt pour ces programmes d'apprentissage, qui montrent aujourd'hui d'excellentes performances en traitement massif de données. Les usages sont multiples. Certains y voient une baguette magique, silver bullet informatique. D'autres, plus rares, y voient une avancée technologique intéressante mais loin d'être révolutionnaire, incoutournable ou encore universelle.

Ces technologies sont très utilisées par les BigTechs, GAFA en tête, notamment pour leurs besoins en traitement d'images, en classification de produits et services - mais aussi d'humains - en recommandation de contenus variés, pour l'identification de comportements et d'anomalies etc. Fin 2022, la bulle repart avec la publication par OpenAI d'un nouvel agent conversationnel : ChatGPT. Ce programme exploite la majorité des corpus de textes disponibles à l'aide d'un grand modèle de langage (LLM), lui-même construit sur une architecture complexe qui fait appel aux réseaux de neurones profonds. Hapax technologique, ChatGPT stupéfie le monde.

Ce texte inscrit la bulle du deep learning dans une perspective historique plus générale, loin de la frénésie qui s'est emparée du monde économique. Car s'il est technologiquement enthousiasmant, ce troisième printemps de l'intelligence artificielle est un échec sur le plan scientifique, intellectuel et social.

Introduction

En 2015, le monde économique a redécouvert l'intelligence artificielle (IA), dans sa version deep learning.

Ce moment est une conséquence de l’ouverture du web au grand public, commencé en 1993-1994. Les principaux acteurs du web, les GAFA nord-américains, puis leurs équivalents chinois BATX, tirent leur puissance de l'exploitation systématique de l'information. Ils doivent résoudre de multiples problèmes opérationnels et techniques, dont la complexité augmente avec la quantité des données à traiter.

Les techniques d’apprentissage automatique permettent de construire des programmes de traitement efficaces. Déployés dans des infrastructures de calcul performantes et couplés à une grande capacité de stockage, ces programmes ont vu leurs performances augmenter très fortement. L'industrie a fait des progrès spectaculaires en traitement d'images, classification de données, recommandation de contenus et identification de comportements.

Les algorithmes d'apprentissage basés sur les réseaux de neurones profonds (deep learning) font partie de l'arsenal. Ils sont responsables de la majeure partie des succès techniques observés. Suivant le mouvement, de nombreuses sociétés se sont spécialisées dans le traitement massif de données en exploitant cette seule technologie. Ce modèle d’entreprise est très rentable pour les rares acteurs qui percent dans le domaine. Ce bouillonnement technologique et économique a provoqué la création de la bulle du deep learning.

Tout ceci paraît bien excitant.
Tout ceci paraît bien nouveau.
Il n'en est rien.

Les réseaux de neurones artificiels ont ensorcelé les journalistes. Ils ont appris à reconnaître des lettres sans qu'on leur ait explicitement appris à le faire, et ont été présentés avec enthousiasme dans les journaux des années 1960. puis 1980.

Margaret Boden (2016)

Les réseaux de neurones artificiels profonds sont les héritiers de décennies de recherche. Ils ont été pensés dans les années 1940 et sont contemporains de l'invention des premiers ordinateurs et des premiers travaux en intelligence artificielle. Depuis bientôt 70 ans, scientifiques et ingénieurs conçoivent des programmes qui essaient de reproduire l'intelligence humaine. Certains font appel aux algorithmes d'apprentissage automatique, d'autres à des approches symboliques. Leur histoire est passionnante, elle donne les clés pour comprendre la période actuelle.

Calculer rapidement

Tout problème pour lequel aucune solution algorithmique n'est connue relève a priori de l'intelligence artificielle.

Jean-Louis Laurière (1985)

La littérature aborde directement le sujet des machines pensantes depuis la fin du XIXème siècle. Mouvement intellectuel et théorique dans un premier temps, l’IA devient une activité scientifique et technique avec la construction des premiers ordinateurs. Ces nouvelles machines permettent de calculer rapidement, et peut-être de simuler le raisonnement, voire la pensée humaine : que peut en dire la science ?

Alan Turing et ses machines

L’histoire aurait pu commencer au XIXème avec Ada Lovelace et Charles Babbage, avec la créature du Dr Frankenstein de Mary Shelley, les canards de Vaucanson, le Golem du folklore juif ou encore les automates fabriqués par Héphaïstos. Nous la faisons commencer à l’ère moderne, dans les années 1930.

Selon moi, il n'existe pas de problème insoluble.

David Hilbert (1930)

Les mathématiciens se posent des questions profondes sur la nature des mathématiques et le lien avec la logique. Le logicien Kurt Gödel démontre ses deux théorèmes d'incomplétude, si difficiles à traduire précisément en français. Essayons : 1| il est possible de construire des problèmes mathématiques indécidables, et 2| une théorie ne peut prouver elle-même sa cohérence. Le problème de la décision, proche des théorèmes de Gödel, passionne les mathématiciens : est-il possible de décider si un énoncé logique, ou une proposition mathématique, a un sens ? En 1936 Alan Turing et Alonzo Church répondent par la négative, avec des approches différentes.

Je me propose donc de démontrer qu’il ne peut pas exister de procédure générale qui permette de décider si une formule U du calcul fonctionnel K est démontrable, i.e. qu’il ne peut pas exister de machine qui, pour toute formule U, dira finalement si U est démontrable.

Alan Turing (1936)

Pour mener sa démonstration, Alan Turing invente une machine conceptuelle et reformule ce problème dans un cadre nouveau. Cette machine, dite machine de Turing, va lui permettre de transformer la question en une sorte d'algorithme qui pourra être exécuté (ou pas) par cette machine. Alan Turing cristallise ainsi les réflexions de son époque et façonne le concept d’un calculateur universel. Il jette les premières bases de l’ordinateur, et montre dans le même mouvement que ce calculateur, si universel soit-il, ne peut pas résoudre tous les problèmes. L’ironie est savoureuse.

Ces travaux fondateurs ne sortent toutefois pas d’un cadre très confidentiel. La guerre à venir contre l’Allemagne n’améliore pas la situation.

Une sorte de légende se noue autour d’Alan Turing. Son travail de décryptage des messages nazis est crucial. Ses contemporains le décrivent comme un génie, et son apport à l’informatique en tant que science et technique est considérable. Il participe activement à l’invention de calculateurs et pense les bases de l’intelligence artificielle (1950) et les bio-mathématiques (1952).

Poursuivi en justice en 1952 pour homosexualité, il choisit, pour éviter la prison, la castration chimique par prise d'œstrogènes. Il est retrouvé mort par empoisonnement au cyanure le 8 juin 1954 dans la chambre de sa maison à Wilmslow.

Le 24 décembre 2013, la reine Élisabeth II signe un acte royal de clémence [...] qui déclare que c'était une condamnation "que nous considérerions aujourd'hui comme injuste et discriminatoire".

Wikipedia

Les calculateurs sont des outils stratégiques

Les débuts de l’informatique sont foisonnants. De nombreux ingénieurs et scientifiques inventent des machines et les assemblent en Europe et aux Etats-Unis. Avant la Seconde Guerre mondiale, quelques calculateurs automatiques existent. Ces machines réalisent un petit nombre d’opérations de base par seconde, additions et multiplications, parfois encore dans le système décimal !

Les usages sont principalement militaires. En Pologne, la Bomba (1938) de Marian Rejewski est utilisée pour des calculs de cryptanalyse. En Allemagne, les Z2 et Z3 (1940) de Konrad Zuse sont utilisés pour des calculs d’aérodynamique. Ces calculateurs électromécaniques sont les ancêtres des ordinateurs que nous connaissons aujourd’hui. À Bletchley Park en Angleterre, Alan Turing et Gordon Welchman conçoivent The Bomb en 1940, un calculateur capable de décrypter le code Enigma utilisé par les nazis pour chiffrer leurs communications.

Ces premiers ordinateurs sont câblés physiquement, en dur. Leur fonctionnement est donc fixé. Les circuits logiques de calcul doivent être modifiés si on veut modifier leur fonctionnement. Il faudra attendre le bond conceptuel majeur qu’apporte les travaux de John von Neumann et Alan Turing (EDVAC, ACE) en 1945 et 1946 pour parler effectivement de programmation. Les instructions d'un programme peuvent être traitées comme des informations, et donc être stockées en mémoire et être modifiées. En 1949, le Manchester Mark I démontre que le fonctionnement d'un ordinateur devient une information comme une autre.

Avant et pendant la Seconde Guerre mondiale, tous les ordinateurs étaient des machines destinées à un usage spécial ou unique. Elles étaient conçues pour résoudre un problème particulier, souvent militaire. La génération suivant le Manchester Mark I aura un usage plus général. Ces calculateurs marquent symboliquement le début d’une ère où les machines pourront maintenant réaliser des calculs à des vitesses que les humains ne peuvent égaler - surhumaines, littéralement.

Les hommes ont autrefois confié la pensée aux machines dans l'espoir de se libérer ainsi. Mais cela permit seulement à d'autres hommes de les réduire en esclavage, avec l'aide de ces machines.

Frank Herbert, Dune (1965)

Qui a construit le premier ordinateur ?

L’invention de l’ordinateur est une histoire collective, longtemps secrète, qui se déroule en partie dans le brouillard de la Seconde Guerre. L’ensemble des briques se met en place progressivement, de manière indépendante, à différents endroits. Les questions de paternité sont difficiles à établir.

Dans les années 1940, trois groupes ont conçu des ordinateurs, et ont ensuite réussi à les faire fonctionner. Le groupe anglais de Bletchley Park situé dans la campagne anglaise entre Oxford et Cambridge, auquel appartient Turing, invente Colossus (1944). Avec ses cinq tonnes, ses sept kilomètres de câbles et ses 2500 tubes à vides qui occupent une pièce de 20m², il mérite son nom. Ses connecteurs électriques et ses relais physiques rendent son fonctionnement flexible, ou adaptable. Aux États-Unis, le groupe auquel appartient von Neumann invente ENIAC (1945), IBM SSEC (1948) et EDVAC (1949), qui font partie des premiers ordinateurs programmables à partir d’instructions situées en mémoire vive. Isolé, l’ingénieur allemand Zuse finalise le Z3 en 1941. Détruit pendant la guerre, il est peut-être le premier ordinateur à architecture moderne.

Les progrès techniques suivants sont mieux connus. Les transistors sont inventés en 1947. À partir de 1955, ils remplacent progressivement les lampes à vide car ils sont plus petits, moins chers et plus fiables . Les circuits intégrés sont inventés en 1957, ils commencent à équiper les ordinateurs dans les années 1960. Les microprocesseurs suivront en 1971 avec le fameux Intel 4004.

Une industrie est née

Dans les années 1960, les bases techniques de l’ordinateur moderne sont fixées. Ces machines peuvent effectuer des opérations basiques : addition, mémorisation, branchement logique. Leur fonction majeure est de pouvoir réaliser ces opérations sans se tromper, sans se fatiguer et très rapidement.

Si l'architecture générale pensée par von Neumann et Turing est restée inchangée, tout reste à faire ! Les scientifiques et ingénieurs amélioreront énormément les performances des ordinateurs en optimisant les composants matériels et les techniques de programmation. Le champ de recherche est vaste et pratique : câblage électrique, gestion de la température des composants, réduction de leur fragilité, inventions des premiers processeurs et langages de programmation. La « Loi de Moore » organise l'industrie naissante en synchronisant les progrès techniques.

Par la suite, nous laisserons de côté ces aspects matériels. Les lecteurs intéressés trouveront leur bonheur dans les références.

âge d'or

On tentera de trouver comment faire en sorte que les machines utilisent le langage, forment des abstractions et des concepts, résolvent des types de problèmes aujourd'hui réservés aux humains et s'améliorent elles- mêmes.

John McCarthy (1955)
Prix Turing 1971

De la délicate définition de l’intelligence

L'objectif premier de la recherche en intelligence artificielle est de rendre les machines plus intelligentes, quel que soit le sens donné à ce mot. Présentés dans les années 1950 comme des cerveaux électroniques, ces appareils n’ont cependant pas d’intelligence au sens biologique du terme.

Définir l'intelligence est une tâche qui occupe encore les philosophes, aucun consensus ne s'est imposé. Doit s’intéresser au cerveau, siège matériel de l’intelligence, ou à l’esprit ? Que faire de la conscience ? Est-elle nécessaire à la manifestation de l’intelligence ? Est-ce une conséquence ? Que faire de la relation au corps et au monde, si importante dans le cas des exemples que nous connaissons instinctivement : les bébés humains ?

L'intelligence ce n'est pas ce que l'on sait, mais ce que l'on fait quand on ne sait pas.

Jean Piaget (attribuée)

Chacun a son prisme. Le scientifique cherche à comprendre ce qu’est l'intelligence. L’ingénieur cherche à rendre les machines utiles. Le commercial cherche à tirer profit de ces nouveaux outils.

Nous retiendrons la définition selon laquelle l'intelligence artificielle consiste à rendre une machine capable de comportements qui, s’ils étaient réalisés par un humain, seraient qualifiés d’intelligents.

John McCarthy (1955)
Prix Turing 1971

Cet essai adopte un point de vue technologique qui embrasse le prisme du scientifique et de l'ingénieur et reprend une définition proposée par Marvin Minsky, proche de celle proposée par John McCarthy : l'intelligence artificielle cherche à rendre les machines capables d’accomplir des tâches qui, aux yeux des humains et selon un consensus implicite, nécessitent de l’intelligence.

Circonscrire l’intelligence artificielle à un domaine précis est une sorte de cauchemar. Les acteurs se sont naturellement retrouvés impliqués dans les questions fondamentales de l'informatique, telles que la programmation et l'architecture des ordinateurs, tout en affrontant des sujets théoriques en sciences cognitives. C'est un sujet de prédilection pour les auteurs de science-fiction, qui arpentent ces thématiques depuis le début du XXème siècle.

Les pères de la discipline étaient plutôt confus. John von Neumann spéculait sur les ordinateurs et le cerveau humain, en faisant des analogies si osées qu'elles rappellent celles d'un penseur médiéval. Alan Turing se demandait si les machines pouvaient penser, et comment le prouver. Nous le savons maintenant, cette question est à peu près aussi pertinente que celle de savoir si les sous-marins peuvent nager.

Edsger Dijkstra (1984)
Prix Turing 1972

Dartmouth, 1956

L’école d’été de 1956 tenus à Dartmouth (USA) est un des mythes fondateurs du domaine. Une vingtaine de scientifiques ont assisté à cette école d’été, dont John McCarthy, Ray Solomonoff, Marvin Minsky, Claude Shannon, Oliver Selfridge, Herbert Simon, Allen Newell et John Nash. Cette conférence permet de lancer officiellement les travaux du domaine et d'inventer le terme d’intelligence artificielle. On parle souvent d’âge d’or pour décrire les deux décennies qui s’étendent entre l’école d’été de Dartmouth et la publication du rapport Lighthill en 1974.

Nous proposons qu'un groupe de dix personnes mène une réflexion autour de l'intelligence artificielle pendant deux mois lors de l'été 1956 à Dartmouth College (USA). Cette réflexion doit être basée sur la conjecture selon laquelle chaque aspect de l'apprentissage ou toute autre caractéristique de l'intelligence puisse, en principe, être précisément décrite pour qu'une machine puisse être conçue afin de la simuler. Nous pensons que des progrès significatifs pourront être réalisés [sur les composantes de l'intelligence] si un groupe soigneusement sélectionné de scientifiques travaillent ensemble pendant un été.

John McCarthy (1955)
Prix Turing 1971

Il ne s'agissait pas d'un projet de recherche dirigé. C'était plutôt comme inviter une bande de personnes brillantes à une conférence de huit semaines, où chacun débordait d’idées.

Ray J. Solomonoff (2011)

Décomposer l’intelligence humaine

Les ordinateurs sont des machines nouvelles. Le but des scientifiques et ingénieurs est de les rendre utiles ; et, pourquoi pas, pas trop idiotes. Pour manier ces concepts abstraits, voire mouvants, les chercheurs font un pari qui paraît raisonnable : modéliser cette intelligence et la diviser en un ensemble de fonctions, puis construire une brique solution pour chacune, et ensuite assembler l’ensemble de ces briques. C’est la méthode classique appelée diviser pour régner (divide & conquer). Des thématiques principales émergent : observer l’environnement en le mesurant avec des capteursk, interpréter les informations reçues, mener un raisonnement logique, établir une stratégie de résolution d’un problème, planifier l’exécution d’une stratégie, apprendre à partir des connaissances passées et de l’expérience accumulée, utiliser et comprendre le langage humain, interagir avec le monde physique et humain, etc.

Aujourd'hui, les machines résolvent les problèmes en fonction des principes que nous leur donnons. D'ici peu, nous pourrions apprendre à les faire travailler sur le problème très particulier de l'amélioration de leurs propres capacités à résoudre des problèmes. Une fois un certain seuil franchi, cela pourrait conduire à une spirale d'accélération et il pourrait être difficile de mettre au point des garde-fous fiables pour la freiner.

Marvin Minksy (1968)
Prix Turing 1969

Les scientifiques se concentrent surtout sur le raisonnement logique et la modélisation de la pensée humaine. Le but est de créer une intelligence artificielle générale. Elle est illustrée par le programme HAL de 2001, l'Odyssée de l'espace (Stanley Kubrick, 1969), qui représente bien les attentes de l’époque : un ordinateur avec une intelligence surhumaine, capable de se substituer à un équipage entier. Cette approche sera appelée plus tard GOFAI, pour Good Old Fashion Artificial Intelligence, cette bonne vieille IA.

L’ambition est forte, les attentes sont énormes.
L’ambiance est à l’optimisme.

Des progrès rapides

De mon point de vue, les progrès de l'intelligence artificielle dans les années 60 et 70 ont été rapides et très impressionnants, car tous ceux que je connaissais travaillaient sur le raisonnement, la représentation symbolique et ce genre de choses.

Marvin Minksy (2011)
Prix Turing 1969

Les progrès sont rapides, le champ est en défrichage. Scientifiques et ingénieurs s’attèlent à la réalisation concrète de leurs idées. Sans craindre de divulgacher la fin de l'histoire, précisons d'emblée que le but ultime du domaine, à savoir construire une intelligence artificielle générale (AGI) ne sera pas atteint. La quête du Graal de l'IA continue encore aujourd'hui.

Programmes

Mon but n'est pas de vous surprendre ou de vous choquer. Pour le dire simplement, nous disposons aujourd’hui de machines qui pensent, qui apprennent et qui créent. De plus, leurs capacités sur ces sujets vont augmenter rapidement jusqu'à ce que, à un horizon proche, l'éventail des problèmes qu'elles pourront traiter sera proche de ce que l'esprit humain peut faire.

Herbert A. Simon (1958)
Prix Turing 1973

Quelques programmes emblématiques

Le domaine fait de beaux progrès dans la thématique de la résolution de problèmes (problem solving). De nombreux systèmes dits intelligents sont inventés, principalement des programmes (SHRDLU, ELIZA, General Problem Solver) et certains robots (SHAKEY). Les premiers langages de programmation sont inventés pour interagir plus efficacement les premiers ordinateurs qui existaient. Citons par exemple LISP, FORTRAN, COBOL et PROLOG, qui sont encore utilisés.

Le Logic Theory Machine (LTM) réussit à prouver 38 théorèmes, parmi une liste de 52 théorèmes que le logicien Bertrand Russell considéraient comme fondamentaux. Il propose même une démonstration jugée plus élégante que celle existante. Russell propose de publier cet démonstration dans un article, mais le journal refuse d’accepter un programme comme co-auteur.

Le General Problem Solver (GPS) généralise le LTM. Il n’est plus limité à la logique et peut être appliqué à n’importe quel problème, d’où son nom. Une fois que l’humain a décrit le problème à traiter, sous la forme d’objectifs hiérarchisés et de moyens d’actions, GPS s’occupe de la logique. Il sait par exemple résoudre le problème des missionnaires et des cannibales, qui est difficile même pour un humain.

Le problème du missionnaire et des cannibales. Pour franchir une rivière, trois missionnaires et trois cannibales doivent utiliser une barque qui ne peut supporter plus de deux personnes. Si, à tout moment, les cannibales sont strictement plus nombreux que les missionnaires sur l'une des deux rives, les missionnaires seront tués et mangés. Les six protagonistes peuvent-ils traverser la rivière sains et saufs ? S'ils le peuvent, comment y arrivent-ils avec un minimum de traversées et quel est le nombre de façons de parvenir à ce minimum ?
(Pour la Science, Mai 1980)

Pandemonium est un programme de logique symbolique. Il est constitué d'une assemblée de démons et fonctionne de manière parallèle. Chaque démon est spécialisé dans la reconnaissance d’un motif précis. Selon ce qu'il décide, il se manifeste de façon plus ou moins bruyante et de façon souvent contradictoire par rapport aux autres voisins. Dans cette cacophonie, un démon supérieur choisit la réponse la plus plausible. Pandemonium a beaucoup influencé les approches connexionnistes et symboliques.

SHRDLU est un des programmes de traitement du langage les plus connus. Il évolue dans un monde composé de blocs cubiques (block world). Créé au début des années 1970, il peut construire des assemblages de blocs à partir d’instructions exprimées en anglais, et dont la syntaxe peut être parfois complexe. Il est capable de modifier un assemblage existant et de déterminer la liste des actions à mener. Son influence est importante et sort du domaine restreint des spécialistes de l’IA.

Parler avec un programme ?

Alan Turing se demande si les machines peuvent penser. En 1950, il imagine le jeu de l'imitation (imitation game ou test de Turing). Un interrogateur discutent avec deux témoins, dont un humain et un programme. Chaque témoin tente de convaincre l’interrogateur qu’il est bien humain. Le but pour l’interrogateur est de décider lequel est un programme ; il peut poser des questions sur n'importe quel sujet.

Je pense que dans une cinquantaine d'années, il sera possible de programmer des ordinateurs qui, disposant d'une très grande capacité de stockage [pour l'époque], joueront si bien le jeu de l'imitation qu'un interrogateur moyen n'aura pas plus de 70% de chances de faire la bonne identification après cinq minutes d'interrogatoire.

Alan Turing (1950)

En l'an 2000, Alan Turing estimait que des ordinateurs pourraient réussir le test avec une performance supérieure à 30% : dans trois cas sur dix, un interrogateur humain se tromperait et déciderait que le témoin artificiel est un humain. Ce seuil semble aujourd'hui un peu faible, selon certains auteurs. Un seuil à 50% est généralement retenu, il permet de dire que le programme réussit en moyenne à tromper l’interrogateur plus souvent qu’un simple tirage aléatoire.

Le test de Turing pose de nombreuses questions : que mesure-t-il réellement ? Quels systèmes pourraient être capables de le passer ? Malgré ses limites, il reste pertinent comme outil d’évaluation des performances générales d’un agent conversationnel.

Eliza, Eliza

Je n'avais pas réalisé qu'une exposition extrêmement courte à un programme informatique relativement simple pouvait induire des pensées totalement délirantes chez des personnes tout à fait normales.

Joseph Weizenbaum (1976)

SIRI et ChatGPT en sont pas les premiers agents conversationnels. Joseph Weizenbaum a créé le programme Eliza entre 1964 et 1967, dans le but d'étudier les relations entre les humains et les programmes. Eliza marque une étape importante dans la compréhension du langage naturel par les ordinateurs.

Le programme est conçu comme un agent conversationnel général, avec lequel on communique avec une sorte de machine à écrire. Eliza interprète un script spécifique à un domaine et détermine ainsi son style de conversation. Le script le plus connu s'appelle DOCTOR, où le programme joue le rôle d'un psychothérapeute. Ce programme est considéré comme le précurseur de nombreuses interfaces de conversation et de chatbots, avec lesquelles nous sommes devenus familiers.

J'ai été surpris de voir avec quelle rapidité et quelle profondeur les personnes qui conversaient avec DOCTOR s'impliquaient émotionnellement avec l'ordinateur et comment elles l'anthropomorphisaient sans équivoque. Une fois, ma secrétaire, qui m'avait regardé travailler sur le programme pendant de nombreux mois et qui savait donc certainement qu'il s'agissait simplement d'un programme informatique, a commencé à converser avec lui. Après seulement quelques échanges avec le programme, elle m'a demandé de quitter la pièce.

Joseph Weizenbaum (1976)

[L'effet Eliza] est une illusion que l'on pourrait définir comme la susceptibilité des gens à surinterpréter et à accorder beaucoup trop de sens aux chaînes de symboles - en particulier des mots - assemblés par des ordinateurs.

Douglas Hofstadter (1995)

Apprentissage automatique

L'apprentissage automatique est une discipline de l'intelligence artificielle, née avec elle. On parle aussi d'apprentissage statistique, ou d'apprentissage machine si on veut rester proche de l'appellation anglaise, machine learning. Son histoire est chahutée. De nombreux spécialistes de l’apprentissage automatique ne se sentent pas acteurs du domaine de l’IA. Ce sujet mérite un débat à part entière, à la frontière entre technique et culture.

Programmer les ordinateurs pour qu'ils apprennent par l'expérience pour, à la fin, être dispensé d'une grande partie de l’effort requis par une programmation détaillée.

Arthur L. Samuel (1959)

Il n’y a pas vraiment d’apprentissage au sens humain du terme. Le but de l'apprentissage automatique est de construire des programmes dont le comportement n'est pas programmé explicitement. Le programme vit dans un contexte donné, ce contexte constitue son monde personnel, et il doit effectuer des arbitrages dans des situations données. Il va apprendre à reproduire ces arbitrages en reliant les situations aux résultats. Dit autrement, le programme va détecter des relations entre les données d’entrées et les données de sorties. Ces relations sont sauvegardées par le programme et constituent une base de connaissances, souvent incompréhensible pour un humain. Ces connaissances sont utilisées pour prédire le résultat le plus probable pour des données d’entrées qu’il ne connaît pas.

La reconnaissance de textes manuscrits ou d’images en sont des exemples classiques. Pour fonctionner, ces programmes sont entraînés sur de vastes bases de données.

Il existe trois types principaux d’apprentissage automatique. L’apprentissage supervisé, où le programme est entraîné avec des exemples d'entrée et de sortie. C’est le type d’apprentissage le plus utilisé actuellement. L’apprentissage non supervisé, où le programme extrait seul des classes ou groupes de points présentant des caractéristiques communes. L'apprentissage par renforcement, où le programme est un agent qui reçoit des récompenses ou des punitions en fonction de ses décisions. L'agent apprend à maximiser sa récompense en prenant des décisions en fonction de ses expériences passées.

De nombreux algorithmes d’apprentissage automatique ont été inventés et perfectionnés au cours des 70 dernières années. Citons les différentes types de régressions (Lasso, Ridge, logistique), arbre de décision, k plus proches voisins, modèles linéaires généralisés (des régressions, donc), machine à vecteurs de support, forêts aléatoires ... et les réseaux de neurones, bien connus du grand public. Chaque technique s’appuie sur un algorithme et un modèle mathématique différent, avec ses particularités.

Simple comme un jeu de dames

En 1959, Arthur Lee Samuel popularise l'apprentissage automatique en travaillant sur le jeu de dames (checkers). Dans ce jeu, les règles sont simples mais il est possible de construire une réelle stratégie. Comme d'habitude, travailler sur les jeux permet de développer des tactiques adaptées à des problèmes plus généraux. Puisque les contraintes informatiques de l'époque sont fortes et que la mémoire est limitée, il faut réfléchir.

Samuel programme notamment un arbre de recherche des positions du plateau atteignables à partir d'un état donné, et met en oeuvre une méthode d'élagage efficace (alpha-bêta pruning) basée sur une calcul de l'intérêt de la position des pièces sur le plateau de jeu. Samuel a également conçu divers mécanismes permettant à son programme de s'améliorer, comme une fonction de récompense. de données provenant de jeux professionnels. Il a profité du fait que les joueurs de dames ont accès à de nombreux volumes de parties annotées où les La reconnaissance de textes manuscrits ou d’images en sont des exemples classiques. Pour fonctionner, ces programmes sont entraînés sur de vastes bases de données.

Ces travaux montrent qu'il est désormais possible, avec une certaine certitude, de concevoir des systèmes d'apprentissage qui surpassent largement les performances d'une personne moyenne, et que ces systèmes pourraient être appliqués à des problèmes de la vie réelle d'une manière économiquement viable.

Arthur L. Samuel (1959)

En 1961, Samuel défie le quatrième joueur national des USA. Son programme gagne. L'apprentissage automatique a de beaux jours devant lui.

D'ici dix ans, un ordinateur sera champion du monde d'échecs, à moins que les règles ne l'empêchent de concourir.
D'ici dix ans, un ordinateur découvrira et prouvera un nouveau théorème mathématique important.
D'ici dix ans, la plupart des théories de psychologie prendront la forme de programmes informatiques ou de spécifications techniques précises de tels programmes.

Herbert A. Simon (1958)
Prix Turing 1973

La difficile généralisation de l'apprentissage

L'apprentissage automatique n'est pas le fin mot de l'histoire. Le souci majeur vient de l’étroitesse et de la spécificité de ce qui est appris par le programme. Ce qui est appris sur un jeu de données n’est utile que sur un jeu de données dont la structure et le contenu informationnel sont proches. Un agent conversationnel entraîné sur un corpus en anglais sera, par exemple, incapable de dire quelque chose d’utile sur du français. Un outil d’aide au diagnostic médical pour l’analyse d’IRM cardiaque ne sera pas lire une radiographie par rayons X. On parle d’apprentissage étroit. Les algorithmes d’apprentissage automatique sont donc extrêmement spécialisés.

Duck typing : si je vois un oiseau qui vole comme un canard, cancane comme un canard, et nage comme un canard, alors j'appelle cet oiseau un canard.

James Whitcomb Riley (attribuée)

La construction d’une forme d'intelligence générale (ou forte) à partir de techniques d’apprentissage automatique impliquerait, peut-être, de réussir à casser ces silos de spécialisations, pour réaliser du transfert d’apprentissage. Cette question est encore ouverte.

Réseaux de neurones

Les réseaux de neurones ont fait beaucoup de bruit [dans les années 1960 et] au milieu des années 1980 et sont encore régulièrement salués par les médias. L'engouement récent pour ces réseaux concerne l'apprentissage profond.

Margaret Boden (2016)

Aparté

Les réseaux de neurones sont une des plus anciennes méthodes d'apprentissage automatique. Ils font partie du programme proposé par John McCarthy lors de l'école d'été de Dartmouth en 1956.

L'histoire de l'intelligence artificielle n'est pas linéaire ; celle des réseaux de neurones ne l'est pas non plus. Elle a ses hivers spécifiques. A la fin du XXème siècle, de nombreux spécialistes ne tenaient pas ce domaine en haute estime. Essayons d'en donner un aperçu.

Un modèle simpliste et efficace

Ces réseaux de neurones s’appuient sur une modélisation mathématique qui remonte aux années 1940 (McCulloch & Pitts). L’idée des chercheurs consiste à connecter des neurones artificiels très simplifiés pour concevoir un programme informatique. La structure artificielle ainsi créée pourrait favoriser l’émergence de fonctions d’apprentissage et de mémorisation, par analogie avec le fonctionnement d’un cerveau animal. Cette approche est datée, probablement fausse, mais utile.

La modélisation est simple. Les neurones biologiques sont des cellules qui peuvent communiquer entre elles à l'aide de connexions synaptiques. Un neurone reçoit des signaux électrochimiques et, selon l’importance relative des signaux reçus, va engendrer un signal de sortie qui sera à son tour reçu par d'autres neurones. L'intelligence des réseaux de neurones artificiels, si on peut utiliser ce terme, réside dans le processus de pondération des signaux d'entrée et la structure du réseau. Concernant les neurones biologiques, la pondération des poids des nombreuses connexions synaptiques n'est qu'un élément parmi d'autres, dont certains sont certainement encore inconnus.

Les réseaux de neurones artificiels sont constitués de nombreuses unités interconnectées, chacune d'entre elles étant capable de calculer une seule chose. Décrits de cette manière, ils peuvent sembler ennuyeux. Mais ils peuvent sembler presque magiques. Ils ont en tout cas ensorcelé les journalistes. Ils ont appris à reconnaître des lettres sans qu'on leur ait explicitement appris à le faire et ont été présentés avec enthousiasme dans les journaux des années 1960.

Margaret Boden (2016)

Dans les systèmes nerveux des animaux, les réseaux de neurones sont massivement interconnectés : le cerveau humain est composé d'environ cent milliards de neurones, et les neurones du cerveau humain ont généralement des milliers de connexions. Les réseaux de neurones observés dans la nature sont organisés selon des schémas (extrêmement) complexes. Pour des raisons pratiques, les réseaux de neurones artificiels sont généralement organisés en couches, avec des schémas de connexion plus ou moins complexes. Les poids associés à chaque connexion sont cruciaux pour le fonctionnement d'un réseau de neurones. Il n'est pas utile de rentrer dans la cuisine interne.

L'entraînement d’un réseau de neurones consiste donc à trouver, d'une manière ou d'une autre, des poids numériques appropriés. L'approche habituelle consiste à ajuster le poids après chaque épisode d'entraînement, avec une descente de gradient par exemple, en essayant de faire en sorte que le réseau relie correctement les entrées aux sorties.

Perceptrons

La Navy a dévoilé aujourd'hui l'embryon d'un ordinateur électronique qui pourra marcher, parler, voir, écrire, se reproduire et être conscient de son existence [...] Dans le futur, on s’attend à ce qu’ils puissent reconnaître les gens et les appeler par leur nom, et traduire instantanément d’une langue à l’autre [...]. Dr Rosenblatt précise qu’il ne manque plus qu'une étape de développement, difficile.

New York Times (1958)

Le Perceptron de Rosenblatt est lancé en 1957 et en fanfare. C'est le premier programme connu du public implémentant un algorithme d'apprentissage automatique basé sur les réseaux de neurones. Perceptron est exécuté sur un IBM 704, un ordinateur central (mainframe) d’une valeur de deux millions de dollars. Suivront d’autres implémentations physiques.

Minsky & Papert

Le Perceptron de Rosenblatt est un réseau à une couche. À l'époque, personne ne sait entraîner un réseau à couches multiples : il s'agit d'une possibilité théorique plutôt que d'une réalité opérationnelle. À la fin des années 1960, Marvin Minsky et Seymour Papert montrent que cette structure monocouche est basique et présente des limites fondamentales (Perceptrons: An Introduction to Computational Geometry, 1969). Différentes versions du livre circulent. Les critiques sont dures, nous en donnons un aperçu.

À la fin des années 1950, après les travaux de Rosenblatt, il y a eu une grande vague d'activités de recherche sur les réseaux neuronaux. Il y avait peut-être des milliers de projets au début des années 1960. Par exemple, le Stanford Research Institute avait un projet ambitieux. Mais rien de probant ne s'est produit. Les machines étaient très limitées. Donc je dirais qu'en 1965 les gens commençaient à s'inquiéter. Ils essayaient d'obtenir de l’argent pour construire des machines plus grandes, mais cela ne semblait mener nulle part. C’est alors que [Seymour] Papert et moi avons essayé d'élaborer la théorie de ce qui était possible pour les machines sans boucles [perceptrons à anticipation].

Marvin Minsky (1989)
Prix Turing 1969

Il nous semble que l'effet de Perceptrons n'a pas été simplement d'interrompre une saine ligne de recherche. Cette réorientation des préoccupations n'était pas une diversion arbitraire ; c'était un interlude nécessaire. Pour continuer à progresser, les connexionnistes devaient prendre un temps d'arrêt et développer des idées adéquates sur la représentation des connaissances. Il y avait une certaine hostilité dans notre motivation à travailler sur cet ouvrage [...]. Une partie de notre motivation venait, comme nous l'avons reconnu de manière très claire dans notre livre, du fait que les financements et l'énergie de la recherche étaient dissipés sur [...] des tentatives trompeuses d'utiliser les méthodes connexionnistes dans des applications pratiques.

Marvin Minsky & Seymour Papert (1988)

Comment les scientifiques concernés ont-ils réagi ? La version populaire est que la publication de notre livre a tellement découragé la recherche sur l'apprentissage dans les réseaux de neurones qu'une ligne de recherche prometteuse a été interrompue. Notre version est que les progrès s’étaient déjà virtuellement arrêtés en raison du manque d’une théorie de base adéquate, et que les leçons de ce livre ont donné au domaine [l'IA en général], un nouvel élan, en réorientant un peu paradoxalement ses préoccupations immédiates.

Marvin Minsky & Seymour Papert (1988)

En effet, Minsky a admis plus tard que "en toute modestie, nous avons été excessivement influents" en dissuadant les scientifiques travaillant sur GOFAI de travailler sur l'apprentissage [sic].

Margaret Boden (2016)

Un coup d’arrêt brutal

La recherche sur les réseaux neuronaux a fortement diminué à la fin des années 1960 au profit des approches de l'IA symbolique défendues par McCarthy, Minsky, Newell et Simon. Il faudra attendre deux décennies, et des avancées techniques et scientifiques significatives, pour que l’entraînement de réseaux multicouches soit possible. La discipline ne s’en remettra pas avant la bulle deep actuelle. On parle volontiers d’âge noir du connexionisme.

Les critiques de Minsky et Papert sont vécues comme un assassinat scientifique de ce champ de recherche, ce qui n'a pas manqué d'énerver pas mal de gens. Nous renvoyons au chapitre Attack Without Apology (12.iii) du Mind as a Machine (2006) de Margareth Boden pour plus de détails, ainsi que A Sociological History of the Neural Network Controversy (1993) de Mikel Olazaran.

Ce que j'aimerais souligner ici, c'est que les principaux points des arguments de Minsky et Papert contre le perceptron étaient bien connus au milieu des années 1960, et que ces arguments avaient déjà eu un effet critique sur la recherche sur les réseaux neuronaux.

Mikel Olazaran (1993)

Hiver symbolique

Les découvertes faites jusqu'à présent n'ont pas produit l'impact majeur promis dans les années 1960.

James Lighthill (1974)

Le réel résiste

L’âge d’or prend fin au début des années 1970. L'optimisme communicatif porté des pionniers est progressivement douché par la réalité, souvent frustrante. Le programme de recherche de 1956 était bien entendu trop ambitieux. Les résultats concrêts sont trop limités au vu des investissements et de l'engouement public.

Les critiques venant de l'extérieur du domaine sont nombreuses et sevères. Elles culminent avec les publications du philosophe américain Hubert Dreyfus, comme Alchemy and AI (1965) et What Computers Can’t Do: A Critique of Artificial Reason (1972), et le rapport anglais de James Lighthill (Artificial Intelligence: A General Survey, 1972). L’approche dite connexionniste, représentée par les premiers réseaux de neurones, se révèle décevante. Les financements se tarissent, avec notamment une réorientation en 1972 des budgets de recherche états-uniens vers des applications militaires dans le cadre de la guerre du Vietnam.

La plupart des personnes travaillant dans la recherche sur l'IA et dans les domaines connexes confessent une forme de déception vis-à-vis de ce qui a été réalisé au cours des vingt- cinq dernières années. Les gens sont entrés dans le domaine vers 1950, et même vers 1960, avec de grands espoirs qui sont très loin de s'être concrétisés.

James Lighthill (1973)

Modéliser le raisonnement ?

L’approche dite symbolique se heurte à la difficile modélisation du raisonnement logique (humain). Ce problème n’est pas résolu aujourd’hui, et ne semble pas en passe de l’être.

Ce premier printemps a mis en évidence deux autres problèmes majeurs : le problème du cadre (frame problem) et celui du bon sens. Un programme ne sait rien d’implicite ; or l’expérience humaine du monde est construite sur un empilement d’implicites. Il faut tout décrire, ce qui complexifie les interactions entre humains et machines. Impossible d'imaginer qu'un programme, si subtil soit-il, puisse comprendre l'humour et l'ironie. Les chansons de Georges Brassens lui sont étrangères. Ces limites dures ne concernent pas uniquement le raisonnement logique, elles ont aussi un aspect culturel et un lien avec le bon sens. Margareth Boden donne un exemple très pertinent qui, s'il fera sourire un adulte, aura toutes les chances d’échapper à un programme.

Mon exemple préféré est le suivant. Si un homme de vingt ans peut cueillir cinq kilogrammes de fraises en une heure, et qu'une femme de dix-huit ans peut en cueillir quatre, combien en ramasseront-ils s'ils y vont ensemble ? Il est certain que "neuf" n'est pas une réponse plausible. Ce pourrait être beaucoup plus (parce qu'ils font les malins tous les deux) ou, plus probablement, beaucoup moins.

Margareth Boden (2006)

Le mur de l’explosion combinatoire

Les programmes qui traitent la résolution de problème rencontrent une limite d'un autre type : la complexité algorithmique. La stratégie classique divide & conquer consiste à décomposer une tâche complexe en une suite de sous-tâches suffisamment simples pour être décrites, modélisées et exécutées par un programme. On mise ensuite sur l'enchaînement rapide des calculs pour pouvoir remonter à la tâche initiale.

Puisque les ordinateurs utilisés sont capables de réaliser quelques milliers d’opérations (additions, multiplications) par seconde. Cette capacité de calcul excède largement les capacités humaines, on s'attend à triompher aisément de tous les problèmes : la puissance de calcul est la clé, pense-t-on.

En pratique, lorsque la tâche à résoudre devient suffisamment proche des cas qui nous intéressent, cette approche ne fonctionne pas du tout. Les temps de calcul explosent et la réponse ne peut pas être calculée en un temps raisonnable. Un mur se dresse, infranchissable. Les ordinateurs actuels, qui sont bien plus rapides, rencontrent exactement la même limite, un peu plus tard. L’augmentation des performances des processeurs ne suffit pas à résoudre les problèmes réels qui exigent une description très détaillée.

Ce mur de complexité a une cause mathématique. L'approche logique de décomposition en tâches simples multiplie les branchements. L’espace des possibles devient gigantesque, et une véritable explosion combinatoire se produit. Ce phénomène est au cœur de nombreux problèmes qui intéressent les chercheurs en intelligence artificielle : optimisation logistique (problème du voyageur de commerce), allocation de ressources (problème du sac à dos), parcours de graphes (problème de la clique, coloration de graphe) et généralement des problèmes de puzzles logiques. C’est une découverte majeure de l’époque, qui intéresse les mathématiciens et les informaticiens théoriciens : si certaines classes de problèmes peuvent être résolues par un calcul mécanique en utilisant un algorithme adapté, le calcul en lui-même peut être extrêmement long. Curiosité mathématique ? Non, car de nombreux problèmes d’optimisation se ramènent à ces cas.

L’intelligence ne se résume pas à un calcul, même rapide.
Ce qui était vrai en 1956, reste vrai en 2025.

L’hiver s'installe

Pendant l'âge d'or, les prédictions pour le moins téméraires sur les progrès futurs dans l'intelligence artificielle sont monnaie courante. Si la sincérité et l'enthousiasme des premiers chercheurs sont compréhensibles, ces prédictions débridée, délirantes, voire incongrues, n'ont cessé de hanter le domaine. Cette époque est marquée, rétrospectivement, par une bonne dose de naïveté.

Il ne faut pas sous-estimer les dommages infligés à l'IA au milieu des années 1970. De nombreux universitaires ont commencé à considérer l'IA comme une pseudo-science - cette mauvaise réputation s’est installée lors de l'hiver de l'IA et le domaine en a souffert jusqu’à très récemment.

Mike Wooldridge (2021)

Systèmes experts

Il n’existe pas de raccourci pour l’intelligence, pas d'équations de Maxwell de la pensée à découvrir, ni de formalisme puissant qui nous dispensent de la nécessité d’accumuler beaucoup de connaissances.

Douglas Lenat (1990)

Injecter de la connaissance

L’âge d’or s'était trop concentré sur des approches générales, comme la recherche et la résolution de problèmes. Un ingrédient clé manquait, un élément crucial : la connaissance.

Les années 1980 voient l’émergence des systèmes experts. Ces programmes répondent à des questions précises et résolvent donc des problèmes spécifiques. L’objectif n’est plus de créer une intelligence générale, mais de se spécialiser sur des domaines particuliers, dits étroits. Les connaissances humaines nécessaires sont assemblées dans des bases de données, dont l'exploitation est articulée par des règles logiques. La conception de ces systèmes est réalisée avec la participation d'experts humains. À la différence des programmes généraux de l'âge d'or, les systèmes experts ont des applications commerciales directes.

Des systèmes experts efficaces

DENDRAL, pour Dynamic ENvironment for Deducing REasoning and Learning est développé à l'université Stanford par Edward Feigenbaum et Bruce Buchanan, dans les années 1960 et 1970. Il est conçu pour aider les scientifiques à déterminer la structure moléculaire de composés chimiques en utilisant des données spectroscopiques. C'était l'un des premiers systèmes experts à être développé. DENDRAL a été un jalon important dans l'histoire de l'intelligence artificielle.

MYCIN est développé à l'université de Stanford dans les années 1970. Ce programme fournit une assistance au médecin dans le diagnostic et le traitement des infections du sang. Il tire son nom du suffixe -mycine qu'ont de nombreux antibiotiques. MYCIN a la capacité de poser des questions. Il peut expliquer son diagnostic en interaction avec l'utilisateur, et peut quantifier l’incertitude de sa décision. Il se est parfois plus efficaces que des humains.

R1/XCON, pour eXpert CONfigurer, est développé à l'université Carnegie Mellon dans les années 1980. Il est utilisé comme outil de configuration des systèmes informatiques vendus par DEC à partir des demandes des clients. R1/XCON est l'un des premiers systèmes experts à être utilisé dans un contexte commercial. DEC estime qu’il a permis d’économiser 40 millions de dollars en six ans, c'est un véritable succès pour le domaine de l'IA.

Nous pourrions citer aussi SOAR, pour Success Oriented Achievement Realized, qui a l’ambition d’être un modèle cognitif complet. Il intègre la perception, l’attention, la mémoire, les associations, la capacité à réaliser des inférences et des analogies, et enfin l’apprentissage. Il a été perfectionné et est utilisé aujourd’hui en médecine ou dans les problèmes de planification logistique.

Ces succès ont attiré l'intérêt des investisseurs, ce qui a créé un boom économique. Et c’est reparti pour un printemps, le second, entre 1980 et 1987 (environ).

Cyc, le monstre

Les règles logiques simples permettent de construire les schémas de représentation des connaissances utilisés dans les systèmes experts. Les chercheurs ont travaillé sur ces sujets, afin de continuer à construire des systèmes qui s’appuient sur une logique transparente, proche du raisonnement humain. La connaissance est toutefois difficile à représenter et à modéliser, surtout dans des environnements complexes. Représenter le sens commun est un défi majeur.

Douglas Lenat attaque ce problème de manière frontale avec un des systèmes experts les plus célèbres : Cyc. Ce projet immense vise à créer une IA générale en lui injectant une quantité énorme de savoir. La base de connaissances de Cyc a besoin d'une description complète de la réalité consensuelle : le monde comme nous le comprenons, et comme l’apprend un enfant.

La plupart des choses que nous devons savoir pour nous débrouiller dans le monde réel sont trop évidentes pour être dans des livres.

Douglas Lenat (1990)

On ne vit qu’une fois, rien ne peut être à deux endroits à la fois, les animaux n'aiment pas la douleur ... Peut-être que la vérité la plus difficile à affronter, une vérité que le domaine essaie d'esquiver depuis 34 ans, c'est qu'il n'existe probablement pas de moyen élégant et facile d'obtenir cette immense base de connaissances. L'essentiel de l'effort doit plutôt consister, du moins au début, en une saisie manuelle de faits.

Douglas Lenat (1990)

L'approche proposée par son fondateur, le chercheur Douglas Lenat, est quelque peu extrême. Il estime avoir besoin de faire travailler 200 personnes pendant un an pour que Cyc puisse s’auto-éduquer, en fourchette basse. Projet époustouflant, qui trouve néanmoins un financement durable. En 2017, Cyc contiendrait 70 milliards de faits sur 500 millions d’entités. Ce projet a, sans surprise, échoué à créer une IA générale.

Douglas Lenat a consacré sa vie à résoudre les mystères du sens commun. Il estime que le problème est que les chercheurs en intelligence artificielle ont rechigné à affronter le véritable problème. Ce qu'il faut, dit-il, c'est rien de moins qu'un projet Manhattan de l'IA, une attaque frontale complète contre le bon sens. Le défi est de créer une Encyclopédie du Sens Commun, c'est-à-dire un ensemble presque complet de règles du sens commun. En d'autres termes, au lieu d'analyser des morceaux isolés de logique, il préconise une approche totalement brutale.

Michio Kaku (1999)

Le domaine pourrait tirer profit d'une description et d'une évaluation systématiques de CYC.
Si CYC a fait des avancées conséquentes sur ce type de raisonnement frappé par le bon sens, il est essentiel de le savoir, pour s'en servir comme outil et comme point de départ pour des recherches ultérieures.
Si CYC a rencontré des difficultés, il serait utile de le savoir pour ne pas reproduire les erreurs.
Si CYC est totalement inutile, les chercheurs peuvent arrêter de se préoccuper de ce sujet et ne pas réinventer la roue.

Ernest Davis & Gary Marcus (2015)

Un second hiver

La connaissance est difficile à représenter, à modéliser et à injecter dans les programmes, mais ce n'est pas impossible. D'évidence, les systèmes experts sont encore utilisés aujourd’hui, l'ensemble des programmes conçus et développés lors de la bulle deep sont des systèmes experts !

Les systèmes experts sont utiles ; mais ils ne sont pas parfaits. Ils sont coûteux à concevoir et maintenir, difficiles à mettre à jour voire, dans certains cas, figés. Ils sont surtout fragiles. Un système expert peut tout à fait faire des erreurs, voire raconter n’importe quoi, lorsqu'on lui donne des données inhabituelles, pathologiques ou en dehors de son champ d’expertise. Vers la fin des années 1980, l’intérêt du public pour les systèmes experts cesse, sans qu’ils aient forcément beaucoup déçu.

Vers les agents

Il y a ce mythe stupide selon lequel l'IA a échoué, mais l'IA est partout autour de vous à chaque seconde de la journée.

Rodney Brooks (2022)

Remise en question

À mesure que la compréhension scientifique progresse, les hypothèses évoluent, exploitant les réussites et les échecs. À la fin des années 1980, l'époque faste des systèmes experts est révolue et une nouvelle crise de l'IA se profile. Une fois de plus, la communauté de l'IA est critiquée pour avoir trop promis. L’hypothèse remise en question n'est pas seulement la doctrine de la phase précédente savoir, c'est pouvoir, responsable du boom des systèmes experts, mais les hypothèses de base qui sous-tendent l’IA depuis les années 1950 : l'IA symbolique en particulier. Les critiques les plus féroces de l'IA viennent, cette fois, de l'intérieur du domaine.

Travailler sur le comportement

Selon le paradigme de John McCarthy et des autres fondateurs du domaine, un système IA est composé d'un modèle central (symbolique) autour duquel gravitent toutes les activités de l'intelligence. Ce modèle rassemble la connaissance de l'environnement. Cette approche doit être révisée, voire dépassée. Les programmes doivent cesser d’être pensés pour un monde fermé. Ils doivent sortir des laboratoires et s’implanter dans le monde réel. L’IA comportementale devient le nouveau paradigme, à travers le développement d’une architecture dite réactive (subsumption architecture). Des robots voient le jour, comme l'aspirateur Roomba (iRobot, 2002), qui a été créé à partir d'une série de comportements possibles.

L'un des principaux objectifs de l'IA comportementale est de créer des systèmes intelligents capables de s'adapter, voire d'apprendre de leur environnement, afin d'adopter des comportements appropriés à une situation donnée.

Vers les agents

Dans les années 1990, la communauté s’oriente vers la construction d’agents. Un agent est vu comme un système IA complet. C’est une entité autonome, située dans un environnement donné, qui exécute une tâche spécifique pour le compte d'un utilisateur. Un agent est complet et fonctionnel, il inclut à la fois une base de connaissances et une capacité de raisonnement logique.

Ces agents représentent une forme de synthèse. L'âge d'or de l'IA a mis l'accent sur le comportement proactif, comme la planification et la résolution de problèmes. L’IA comportementale a souligné l'importance d'être réactif, incarné et attentif à l'environnement. L'IA basée sur les agents exige les deux et ajoute une nouveauté : l'idée de devoir travailler avec d'autres agents et, pour cela, disposer de compétences sociales : communiquer, coopérer, se coordonner, négocier. Ces compétences sociales ont un sens car elles permettent aux agents d'accomplir leurs tâches ensemble, en harmonie.

On peut y voir un nouveau paradigme. Avec le recul, il semble un peu étrange qu'il ait fallu si longtemps à l'IA pour commencer à réfléchir sérieusement à la manière dont les systèmes d'IA pourraient interagir entre eux et aux problèmes qui pourraient survenir lorsqu'ils le feraient.

Le sous-marin HOMER

Un agent basique a été construit. Il intègre une compréhension et une génération limitées du langage naturel, une planification et un raisonnement temporels, l'exécution d'un plan, une perception symbolique simulée, une mémoire épisodique et une certaine connaissance du monde général. L'agent est présenté comme un robot sous-marin opérant dans un monde marin bidimensionnel simulé dont il n'a qu'une connaissance partielle. Il peut communiquer avec des personnes dans un vocabulaire d'environ 800 mots anglais courants en utilisant une grammaire basique.

Steven Vere & Timothy Bickmore (1990)

Homer est un agent qui simule un robot sous-marin. Un opérateur peut parler à l'agent, lui poser des questions et lui donner des ordres. En réponse, un planificateur de tâches intégré produit un plan d’action, qui est ensuite exécuté ou amendé en fonction des nouvelles informations fournies. HOMER est capable de donner des réponses concises à des questions sur ses expériences passées, ses activités et perceptions présentes, ses intentions futures et sa connaissance générale.

Les assistants

Ce type d’IA est utilisé pour créer des agents logiciels. Ces agents ont pour but de travailler de manière active avec nous ou pour nous, en traitant par exemple nos emails ... ou en nous agaçant lorsque nous travaillons avec la suite MS Office. L’assistant d’Apple, SIRI, est un exemple d’agent conversationnel basé sur cette approche. SIRI a été créé par l’institut SRI, qui avait créé SHAKEY à la fin des années 1960. Luc Julia a participé de près à ce projet.

Avec l’apparition des assistants, les attentes évoluent. L’IA ne doit plus faire des choix identiques à ceux qu’aurait fait un humain : l’IA doit faire de meilleurs choix. Cette théorie remonte aux années 1940 (von Neumann,Morgenstern). Elle se base sur les préférences de l’utilisateur et utilise les probabilités afin de déterminer les meilleures situations, même dans des cas complexes. Cette méthode est encore utilisée dans les systèmes d'IA modernes.

Dans les années 1990, la construction d’agents intelligents capables d’agir de manière rationnelle est la nouvelle orthodoxie de l'IA et le reste aujourd'hui. Dans presque tous les systèmes d'IA actuels, il existe un calcul d'utilité incluant les préférences de l'utilisateur, afin de maximiser les résultats attendus, c'est-à-dire d'agir rationnellement au nom de l'utilisateur. Ces IA comportementales ont cependant deux profondes limitations : leurs compétences sont limitées, et elles n'évoluent pas.

Travailler en toute incertitude

La gestion de l’incertitude est un problème qui rôde depuis longtemps. Tout système d'IA réaliste doit faire face à l'incertitude. Ce problème devient crucial dans les années 1990.

Une voiture automatique obtient des flux de données de ses capteurs. Ceux-ci ne sont pas parfaits , il y a toujours un risque, certes faible si le système est bien conçu, mais existant, qu'un télémètre se trompe lorsqu'il annonce qu'il ne voit pas d'obstacle. Ces informations ne sont pas inutiles, pour autant, mais il n'est pas raisonnable de supposer qu'elles sont nécessairement correctes. Alors comment l'utiliser, en tenant compte de la possibilité d'erreur ?

L'inférence bayésienne est une réponse. Inventé par un mathématicien britannique du XVIIIe siècle, le révérend Thomas Bayes, le théorème de Bayes permet de traiter des données imparfaites. Ce fonctionnement est naturel pour tout être vivant qui évolue dans un monde incertain. Les informations de l’environnement sont utilisées pour mettre à jour notre compréhension de celui-ci. Le théorème de Bayes est intéressant parce qu'il met en évidence un processus de prise de décision probabiliste. Ce processus s’adapte bien aux programmes.

Les gens ne remarquent tout simplement pas l'IA.

Il y a des systèmes d'IA dans les voitures, qui règlent les paramètres des systèmes d'injection de carburant. Quand vous atterrissez dans un avion, votre porte d'embarquement est choisie par un système de programmation d'IA. Chaque fois que vous utilisez un logiciel Microsoft, vous avez un système d'IA qui essaie de comprendre ce que vous faites, comme écrire une lettre, et il fait un sacré bon travail. Chaque fois que vous voyez un film avec des personnages générés par ordinateur, ce sont tous des petits personnages d'IA qui se comportent comme un groupe. Chaque fois que vous jouez à un jeu vidéo, vous jouez contre un système d'IA.

Rodney Brooks (2022)

Réussites

Une lente maturation

Les différentes approches, technologies et méthodes infusent doucement. Les théories des probabilités et de la prise de décision rationnelle constituent une base scientifique solide. La perception de l'IA change, au sein même de la communauté. En s'autorisant un peu de lyrisme, disons les chercheurs n’ont plus l’impression de tâtonner dans le noir, en s’accrochant désespérément à ce qu’ils trouvent.

Une défaite historique : IBM DeepBlue en majesté

La percée la plus importante pour le grand public est réalisée par IBM, en 1997. DeepBlue joue aux échecs. Plutôt bien même, car il réussit à battre le grand maître russe Garry Kasparov. Le symbole est fort. Malgré son nom, DeepBlue n’utilise pas de réseaux de neurones. Le terme deep vient de la capacité du programme à effectuer des recherches en grande profondeur dans les arbres de décision.

1997 est un moment historique, bien qu'il s'agisse d'une machine utilisant la force brute, et non d'une machine avec un raisonnement humain. Mais comme nous l'avons découvert, les échecs étaient vulnérables à des machines très puissantes avec de bons algorithmes, de grosses bases de données et des processeurs très rapides.

Gary Kasparov (2017)

Après le morpion, Puissance 4, les dames, Othello, les échecs deviennent un jeu maîtrisé par les ordinateurs. Les programmes battent aujourd'hui tous les joueurs humains aux échecs, de manière fiable. À la fin du siècle dernier, il n’y a plus vraiment de compétition possible avec les programmes sur la majorité des jeux. Certains résistent encore, comme le go, Snakes & Ladders et Diplomacy, mais pour combien de temps ...

Face à une machine, vous serez rapidement dépassé. C'est pourquoi tout système fermé - et les jeux sont des systèmes fermés - donne automatiquement l'avantage aux machines. Je le savais en 1997. Lorsque vous regardez la puissance de calcul des ordinateurs d'échecs, Deep Blue était relativement faible par rapport aux normes modernes. Aujourd'hui, les machines sont absolument monstrueuses. Elles sont beaucoup plus fortes que Magnus Carlsen [champion du monde d'échecs depuis 2013], et une application d'échecs gratuite sur votre appareil mobile est probablement plus forte que Deep Blue.

Gary Kasparov (2017)

Lorsque vous opposez les humains aux machines dans des jeux, les machines l'emporteront, que ce soit aux échecs ou au go, ou tout autre jeu. Pas parce qu'elles peuvent résoudre le jeu. Les échecs sont mathématiquement insolubles. Le nombre de coups légaux est énorme. Mais en fin de compte, la machine n'a pas besoin de résoudre le jeu. La machine doit gagner la partie. Et pour gagner la partie, elle doit simplement faire moins d'erreurs que les humains. Ce n’est pas si difficile, car les humains ne sont qu’humains et sont donc vulnérables; nous n'avons pas le calme et la sérénité d’un ordinateur.

Gary Kasparov (2017)

Ruser avec l'explosion combinatoire

Une seconde réalisation majeure de l'époque est restée plus confidentielle. Elle concerne la complexité des calculs et l’explosion combinatoire qui en découle.

Certains problèmes mathématiques sont extrêmement complexes à résoudre, mais une fois un candidat trouvé, il est très rapide de vérifier que c'est une solution. Ils font partie de la grande famille des problèmes dits NP, qu'on ne sait pas (encore !) résoudre de manière satisfaisante. NP signifie non-deterministic polynomial time ; le non-deterministic fait référence à la machine de Turing non déterministe qui permet de savoir si le problème est décidable. De nombreux problèmes importants relèvent de cette classe de complexité, malheureusement. Ils se ramènent à des problèmes dites classiques, a car représentatifs et bien étudiés par les spécialistes : voyageur du commerce, sac à dos, postier chinois, partition de graphes. Ils sont liés à la recherche opérationnelle et à l’optimisation logistique.

À la fin des années 1990, certains programmes de résolution de problèmes sont suffisamment puissants pour être utilisés de manière systématique sur des instances suffisamment détaillées pour être réellement utiles. Il s'agit des solveurs capable de résoudre efficacement des problèmes de satisfaisabilité booléenne (dits SAT). Cela ne signifie pas que tous les problèmes NP ou NP-difficile peuvent désormais être résolus : certaines instances continueront de mettre à genoux les meilleures heuristiques. Mais nous n'avons plus systématiquement peur de cette classe de complexité, et c'est l'une des principales réussites techniques des 40 dernières années.

… Et l’intelligence générale ?

Il n'y a toujours pas de feuille de route vers l'IA générale. Ce sujet est délaissé.

Bulle deep

Nos résultats montrent qu'un grand réseau de neurones convolutif profond est capable d'obtenir des résultats records sur un ensemble de données complexe en utilisant un apprentissage purement supervisé.

Geoffrey Hinton (2012)
Prix Turing 2018

Le moment connexionnisme

Les algorithmes d'apprentissage automatique avec réseaux de neurones reviennent sur le devant de la scène en 1986. Le connexionnisme se relance avec le moment PDP (Parallel Distributed Processing, Rumelhart & McClelland) et la mise en lumière de la procédure d'entraînement par rétro-propagation, ou backprop, qui permet d’entraîner des réseaux de neurones multicouches. Cette technique a été découverte et développée de multiples fois depuis les années 1970.

Si l'excitation est intense, la bulle PDP est cependant de courte durée. Au milieu des années 1990, la recherche sur les réseaux neuronaux stagne, pour être à nouveau délaissée. La limite principale est matérielle : les ordinateurs de l'époque ne sont pas assez puissants pour entraîner les modèles. Et la concurrence est rude dans le domaine de l'apprentissage automatique, car des modèles concurrents comme les machines à vecteurs de support (SVM) et les forêts aléatoires montrent de bons résultats.

Les réseaux neuronaux avaient été considérés comme une impasse vingt ans plus tôt. [Ce] jugement avait été rendu dans les années 1960 par une critique virulente de Marvin Minsky et Seymour Papert, qui jouissaient tous deux d'une excellente réputation dans la communauté de l'IA. Dans les années 1980, [les réseaux neuronaux] semblaient être non seulement une impasse, mais réellement morts. Presque tous les fonds de recherche avaient été consacrés à l'IA symbolique.

Margaret Boden (2016)

À nouveau incontournables !

En 2006, un nouveau cycle d’intérêt pour les réseaux de neurones démarre. Geoffrey Hinton relance les réseaux de neurones, avec une architecture de deep belief network. C’est le troisième cycle, le troisième printemps. Les réseaux sont plus profonds : on parle désormais de deep neural networks, ou l'apprentissage profond (deep learning). Ces réseaux ont plus de neurones, plus de couches et sont mieux connectés. En 2016, on compte typiquement un million de neurones connectés à 10000 autres neurones, et organisés en une dizaine de couches.

Et des données, beaucoup de données. Traitées par des ordinateurs puissants, ces données sont les clés du succès. L’apprentissage profond va profiter pleinement de la mode technologique du Big Data des années 2010. L’utilisation massive du web et la démocratisation des objets connectés, qui sont naturellement des capteurs de données, expliquent ce mouvement technique qui bousculera bientôt l'économie.

Une compétition technique marque les esprits. La classification d'images est un critère qui permet de classer les performances des algorithmes. En 2012, différents algorithmes sont évalués sur la base ImageNet. Elle est constituée de 1.2 million d’images d'entraînement et de 150000 images de test, réparties en 1000 catégories. Un réseau de neurones arrive en tête avec des performances remarquables.

Un réseau de neurones convolutif appelé AlexNet a obtenu une score de 84.7% (top5) lors du défi ImageNet 2012, soit plus de 10.8 points de moins que le deuxième. L'utilisation de réseaux neuronaux convolutifs était possible grâce à l'utilisation de processeurs graphiques (GPU) lors de la phase d'entraînement, un ingrédient essentiel de la révolution de l'apprentissage profond. Selon The Economist, "soudainement, les gens ont commencé à prêter attention, non seulement au sein de la communauté de l'IA, mais dans l'ensemble de l'industrie technologique ".

Wikipedia

L'apprentissage profond est passionnant car il permet enfin aux réseaux de neurones de traiter la hiérarchie. Depuis le début des années 1980, les connexionnistes se sont efforcés de représenter la hiérarchie en combinant la représentation locale/distribuée ou en définissant des réseaux récurrents. [...] Leur succès est limité, et les réseaux de neurones ne sont toujours pas adaptés à la représentation précise de hiérarchies avec ou au raisonnement déductif. L'apprentissage profond a été initié, en fait, dans les années 1980 (par Jürgen Schmidhuber). Mais le domaine n’a explosé que plus récemment, lorsque Hinton a fourni une méthode efficace permettant aux réseaux multicouches de découvrir des relations sur de nombreux niveaux.

Margaret Boden (2016)

DeepMind, un symbole

DeepMind est une petite société anglaise fondée en 2010 par des chercheurs en IA. Son équipe de 25 personnes est spécialisée dans une activité assez particulière : elle apprend à des programmes à jouer à des jeux vidéo. On peut sourire dans un premier temps, surtout si on sait que les jeux sont des antiquités des années 1980 comme Pong, Breakout ou Space Invaders. La publication scientifique date de 2015 : Human-level control through deep reinforcement learning (Nature, 2015). On ne sourit plus quand on apprend que cette société est achetée par Google en 2014 pour 650 millions de dollars.

DeepMind est un symbole. Les jeux vidéo auxquels ses ingénieurs s’intéressent sont des mondes fermés où les règles sont limitées. Ce sont des terrains de jeu parfait pour les réseaux de neurones. DeepMind a mis au point des techniques d’apprentissage qui s’adaptent au jeu rencontré. Le programme découvre le jeu et apprend à le maîtriser en observant les images affichées à l’écran, et le score. Point crucial : aucune autre information n’est fournie. Les performances sont remarquables ! Par exemple, lorsque le programme découvre Pong, il lui suffit de quelques dizaines d’heures d'entraînement pour atteindre le niveau de jeu d'un humain.

Notre méthode est plus performante qu'un expert humain sur BreakOut, Enduro et Pong et il atteint des performances proches de l'humain sur Beam Rider. [Nous sommes] loin des performances humaines sur des jeux [plus difficiles] comme Q*bert, Seaquest, Space Invaders, [qui] demandent au réseau de trouver une stratégie à long terme.

DeepMind (2013)

Ces systèmes sont de véritables tours de force d'ingénierie et de recherche appliquée. Un éventail de raffinements est ajouté à l’arsenal technologique de l’apprentissage profond au fil du temps, comme le mécanisme d'attention et l'architecture transformer. Les GAFA et BigTechs sont les principaux acteurs du deep learning : leur puissance financière leur permet de s'offrir les compétences techniques, de constituer les bases de données essentielles à l'entraînement des modèles et la puissance de calcul requise (train, test, predict).

Des succès impressionnants

La bulle deep démarre autour de 2016.

Les principaux acteurs académiques des réseaux de neurones profonds rejoignent les GAFA. Geoffrey Hinton travaille pour Google depuis 2013. La même année, son ancien thésard Yann Le Cun est recruté par Facebook. Les deux recevront le prix Turing avec Yoshua Bengio en 2018.

Il y a 100 ans, l'électricité a presque tout transformé. Aujourd'hui, j’ai du mal à imaginer une industrie qui ne sera pas transformée par l’IA au cours des prochaines années.

Andrew Ng (2017)

Les applications des réseaux de neurones sont impressionnantes dans de nombreux domaines. Les réseaux de neurones sont meilleurs que les humains pour la classification d’images. La traduction de texte en ligne progresse à un niveau correct pour les langues les plus représentées dans les corpus électroniques. La génération d’image et le text-to-image est une avancée majeure, avec Dall-E (2021) et MidJourney (2022). Des agents conversationnels intéressants sont disponibles, comme GPT-3 (2020) et ChatGPT (2022).

Les cas d’usage sont nombreux, probablement plus nombreux que ceux immédiatement visibles - mais qui marquent les esprits. De manière générale, les réseaux de neurones profonds sont des outils très utiles dans la détection et l’exploitation de tendances et motifs dans les bases de données massives, notamment les images. On s’attend à des progrès à long terme sur les sujets liés à l’industrie et, naturellement, les services numériques basés sur le profilage et la recommandation.

DeepMind fait les gros titres. Aux échecs, Alpha Zero montre de très belles performances face à des programmes spécialisés comme Stockfish, qui intègrent depuis des réseaux de neurones dans leurs heuristiques de calcul. En 2016, AlphaGo bat bruyamment et brillamment des champions humains au go. En 2019, DeepStar s'attaque à StarCraft 2 et égale les meilleurs joueurs humains.

Je pense que l'IA provoquera très probablement la fin du monde. Mais entre-temps, de superbes entreprises seront créées grâce à l'apprentissage automatique.

Sam Altman (2015)

Irruption

S'il est difficile de construire des systèmes IA spécialisés qui sont très performants, il est beaucoup plus difficile de construire un système d’IA généraliste.

Margaret Boden (2016)

Le cas Agent57

En 2020, DeepMind publie Agent57, un agent qui surpasse les performances humaines sur 57 jeux disponibles sur Atari 2600. Cet agent prolonge et étend les performances obtenues en 2015. Certains commencent à s'exciter autour d'une forme d'IA générale.

[Ce programme] Atari a suscité l'enthousiasme - et mérité un papier dans Nature - en partie parce qu'il semblait être un pas vers l'intelligence artificielle générale. Un unique algorithme, n'utilisant pas une représentation spéciale de la connaissance, a développé un large éventail de compétences sur des tâches très variées, avec des données d'entrées en grande dimension. Aucun programme n'avait fait cela auparavant. Cependant, une IA générale complète ferait beaucoup plus.

Margaret Boden (2016) Croire que les réseaux de neurones pourront créer une IA générale n'est appuyé par aucun fait. Si l'augmentation de la puissance des ordinateurs actuelle permet aux programmes d'inclure beaucoup plus de neurones qu’auparavant, le constat ne change pas : la forme d'intelligence exhibée par les programmes reste différente de l'intelligence animale ou humaine.

Par rapport au cerveau, les réseaux de neurones artificiels sont trop propres, trop simples, trop limités et trop secs.
Trop propres, parce que les réseaux construits par l'homme privilégient élégance et puissance mathématiques, ce qu'on ne retrouve pas dans les cerveaux biologiques.
Trop simples, parce qu'un seul neurone est aussi complexe sur le plan informatique [...] qu'un petit ordinateur. Et il existe une trentaine de types de neurones différents.
Trop limités, car même les réseaux comportant des millions de neurones sont minuscules comparés aux cerveaux humains.
Et trop sec, parce que les chercheurs ignorent généralement [beaucoup de comportements biologiques].

Margaret Boden (2016)

Une ode au pragmatisme

Les réseaux de neurones ne sont pas parfaits. Ils sont opaques, spécialisés et gourmands.

Les réseaux de neurones sont opaques. L’extrême complexité de l’architecture des systèmes IA construits par DeepMind, Meta, Google et d’autres, est un obstacle majeur à la compréhension des processus d’apprentissage. On empile des réseaux de neurones différents, chacun composé de multiples couches interconnectées (ou pas). Les architectures actuelles des agents conversationnels basés sur GPT-3 comptent jusqu’à 175 milliards de paramètres - probablement plus de mille milliards pour GPT-4. On ne sait pas comment est encodée l’information dans ces outils. On ne sait pas comment les résultats sont calculés. On ne sait pas entrer dans la boîte noire qu’on entraîne, ou plutôt la base de données qu’on engendre. Cela n'empêche pas les ingénieurs de travailler en aveugle, à partir d’exemples, et de construire des systèmes en empilant des légos dans le noir. Dans ce monde, seules les performances comptent, semble-t-il.

Les réseaux de neurones sont spécialisés. On parle d’IA étroite, en opposition avec l’IA générale. Un système construit par apprentissage automatique sait généralement effectuer une seule tâche. S’il sait jouer à Pacman, il ne saura pas jouer à Pong. S’il sait catégoriser des images d’animaux, il ne saura rien dire d’utile des voitures. Il faudra, dans le meilleur cas, ré-entraîner le système. Dans le pire des cas, on construira un nouveau système avec des traitements spécifiques. On apprécie mieux la puissance de AlphaZero, qui peut apprendre différents jeux sans être modifié. Mais même s'il maîtrise 1000 jeux, rien n'indique qu'il sera bon sur le mille et unième. Les réseaux de neurones profonds sont des outils particulièrement fragiles. Voire jetables

Les réseaux de neurones sont gourmands. Gourmands en données, car les jeux de données d'entraînement nécessaires sont énormes, avec des millions d’exemples. La constitution de ces bases implique fréquemment un travail humain d’étiquetage fastidieux et abrutissant. Gourmands en énergie, car la puissance de calcul requise pour évaluer les milliards de paramètres lors du processus d’apprentissage est très importante. Cette puissance de calcul est fournie par des processeurs spécialisés (graphics processing unit, tensor processing unit), rares et coûteux. On parle de 190 MWh pour entraîner le modèle GPT-3 (large language model), soit un aller-retour pour la Lune en voiture. La question de la consommation énergétique doit être posée, en regard de l'utilité.

Et les autres algorithmes ?

Ces caractéristiques ne sont pas propres aux réseaux de neurones. Elles peuvent s’appliquer à d’autres algorithmes d’apprentissage automatique. La spécialisation est commune. L’opacité est fréquente. Comprendre le processus de décision dans un arbre de décision est possible, mais rien ne garantit que les règles fassent sens pour un non spécialiste. Certains algorithmes (dits frugaux) ont des approches qui minimisent le nombre de paramètres utilisés en entrée, permettant ainsi de réduire le nombre de variables explicatives. La gourmandise énergétique n’est pas une fatalité en soi. Elle est souvent liée à la quantité de données à intégrer. Il existe des méthodes qui peuvent fournir des résultats utiles à partir de petites bases d'entraînement.

Notons que depuis le début de la bulle deep , les autres algorithmes d’apprentissage automatique sont tout à fait absents de la scène médiatique. La bibliothèque scientifique scikit-learn est pourtant remarquable, et très utilisée en pratique.

La plupart des chercheurs en IA ont abandonné l'espoir initial de l'intelligence artificielle générale, se tournant plutôt vers la résolution de tâches très spécialisées, souvent avec un succès spectaculaire.

Margaret Boden (2016)

ChatGPT fait irruption

Le choc provoqué fin 2022 par le programme ChatGPT d'OpenAI est extraordinaire. Ce hapax technologique a bousculé l'intégralité de l'innovation numérique et les usages de l'intelligence artificielle. Les financements ont ruisselé comme rarement vers des clones plus ou moins avoués de OpenAI.

L'IA générative, l'approche actuelle la plus populaire de l'IA, est faite de grands modèles de langage (LLM) qui sont entraînés à produire des résultats plausibles, mais pas nécessairement corrects. Bien que leurs capacités soient souvent surprenantes, ils échouent à raisonner, ce qui fait que les LLM ne sont pas totalement dignes de confiance. En outre, leurs résultats ont tendance à être à la fois imprévisibles et ininterprétables.

Douglas Lenat & Gary Marcus (2023)

Les LLM d'aujourd'hui sont clairement beaucoup moins fragiles que les réseaux neuronaux [pré-LLM] [...], mais ils présentent toujours une fragilité, peut-être en raison d'une dépendance similaire à l'égard des sacs d'heuristiques, bien qu'à une échelle beaucoup plus grande.

Melanie Mitchell (2025)

Les humains utilisent probablement aussi un mélange de modèles abstraits du monde et de sacs d'heuristiques pour résoudre leurs problèmes, mais je pense qu'il est probable qu'ils n'aient pas la même capacité que les LLM d'aujourd'hui à apprendre un très grand nombre de règles spécifiques. Je suppose que ce sont nos limites humaines - contraintes sur la mémoire de travail, sur la vitesse de traitement, sur l'énergie disponible - ainsi que nos environnements complexes et en constante évolution qui nous obligent à former des modèles internes plus abstraits et généralisables. Peut-être devrons-nous contraindre et défier nos machines de la même manière pour les amener à penser de manière plus abstraite et à mieux généraliser en dehors de leurs distributions de données d'apprentissage.

Melanie Mitchell (2025)

L'économie bascule

La décennie 2010-2020 voit les acteurs économiques entrer dans une transformation profonde de leurs usages numériques. L’envergure de cette transformation rappelle l’utilisation massive des outils numériques, initiée dans les années 1960-1970. A l’époque, l’introduction des mini-ordinateurs donne accès à une puissance de calcul et une capacité de traitement à des coûts plus abordables que les mainframes IBM.

Ces deux sujets sont une conséquence directe de l’ouverture du web pour le grand public et de la massification des usages, commencé dans les années 2000. Les survivants de la bulle internet (dot.com) sont devenus les nouveaux acteurs dominants.

Si vous aviez toutes les informations du monde directement reliées à votre cerveau, ou si vous aviez un cerveau artificiel plus intelligent que le vôtre, alors vous seriez bien.

Sergey Brin (2004)

Nous ne scannons pas tous ces livres pour qu'ils soient lus par des personnes, nous les scannons pour qu'ils soient lus par une IA.

Un googler anonyme (2005)

L'un de nos principaux objectifs en matière de recherche d'information (search), c'est de faire en sorte que cette fonction search comprenne exactement ce que vous voulez, qu'elle comprenne tout ce qui existe dans le monde. En informatique, on appelle ça de l'intelligence artificielle.

Larry Page (2005)

La transformation actuelle concerne l'utilisation systématique des outils décentralisés (SaaS), qui n’est pas sans rappeler l’architecture client/serveur du début de l’informatique d’entreprise, et l’exploitation massive des données opérationnelles. Google (Alphabet), Facebook (Meta), Amazon en sont les symboles. Microsoft, IBM et Apple se sont réinventés. "À chaque fois que je parle de l'avenir de Google avec Larry Page, il soutient que sa société deviendra une intelligence artificielle", témoigne un investisseur en 2005.

La Chine a elle aussi créé ses propres géants. Leur point commun ? Un modèle économique basé sur la manipulation de symboles et l’utilisation massive et systématique des décisions algorithmiques. Leur forte rentabilité vient d’une position commerciale hégémonique. Leur image de marque très flatteuse comme principaux acteurs de l’innovation informatique, et maintenant en intelligence artificielle, finalise le tableau. Les BigTechs sont des modèles.

Les États-Unis d'Amérique sont à la pointe de l'IA, et notre administration [Trump] entend bien le rester.

James Vance (2025)

Winter is coming

Un système entraîné uniquement à partir du langage n'atteindra jamais l'intelligence humaine, même s'il est entraîné jusqu'à la mort thermique de l'univers.

Jacob Browning & Yann LeCun (2022)

Le deep learning est un échec scientifique

Il est difficile d'affirmer que le domaine a progressé vers l’IA générale. La culture qui prévaut chez les spécialistes des réseaux de neurones est une culture de l’efficacité, doublée d’une tendance à construire de gros systèmes. On ne retient, pour l’instant, que la capacité à construire des outils d’aide à la décision qu’on sait rendre performants dans certaines conditions, et dans certains cas. C’est certes appréciable. Cependant, peut-on mieux qualifier l’intelligence en général ? Sait-on modéliser efficacement un processus d’apprentissage ? Comprend-on mieux le cerveau humain ? A-t-on la moindre idée de ce qui se passe quand un réseau profond apprend à différencier un chat d’un pneu ? Les réponses, si elles sont positives, n’ont pas émergé des laboratoires.

Voilà au moins une génération que le but de l’IA n’est plus de créer un mécanisme cognitif, une entité, de la conscience, mais seulement de simuler des fonctions, d’émuler des tâches. Vous lui donnez une information, elle vous en renvoie une. Ce que les IA d’OpenAI, Google, Mistral et autres vous proposent, c’est une recette statistique prenant pour point de départ le Léviathan qu’est la Toile, et y piochant les réponses à grand renfort de statistiques et de paramètres ajustés. L’usage de cette fonction peut être pertinent ou consternant. [...] Mais à la fin, cette formule mathématique n’a pas plus de conscience ni d’intelligence, en soi, que la formule qui calcule vos impôts.

Cédric Villani (2024))
Médaille Fields 2010

Le savoir humain n'est principalement pas dans des textes. Il est dans une partie subconsciente de votre esprit. Vous l'avez acquis durant la première année de vie, avant même de pouvoir parler. La plupart des connaissances concernent notre expérience du monde et son fonctionnement. C'est ce que nous appelons le bon sens. Les LLMs n'ont pas accès à cela, et peuvent donc commettre des erreurs stupides. C'est de là que proviennent les hallucinations. Ce que nous tenons pour acquis s'avère extrêmement complexe à reproduire pour les ordinateurs. Ainsi, l'AGI, ou l'IA de niveau humain, n'est pas pour demain ; elle nécessitera des changements perceptuels profonds.

Yann LeCun (2024)
Prix Turing 2018

Le deep learning est un échec intellectuel

Certains auteurs parlent de Big Data AI, pour marquer le lien avec la mode technique précédente. Au-delà de l’approche purement descriptive et réactionnaire, cette réticence à faire appel à une modélisation mathématique, sinon scientifique, s’apparente à une démission intellectuelle. Le calcul des caractéristiques (features) relève plus de la cuisine que d’une réelle démarche scientifique. Utiliser un modèle permet de réduire la dimensionnalité des problèmes et, ainsi, contribue habituellement à des systèmes moins gourmands en ressources (données, calcul, mémoire). Les données ne parlent que si on les leur pose les bonnes questions.

"Ne travaillons surtout pas avec les gens qui connaissent le problème, cela pourrait introduire des biais dans l’apprentissage". Cette recommandation étonnante, nous l’avons rencontrée plus d’une fois lors de nos interventions auprès d’équipes constituées de professionnels techniquement compétents. Naïveté élevée en paradigme, ou erreur fondamentale ?

Enfin, l'apprentissage automatique fait l'hypothèse que les informations disponibles sur le passé sont pertinentes et utiles pour le futur. Rien n'est plus faux et restrictif, surtout quand les prédictions sont appliquées aux humains. Couplé à l’opacité intrinsèque des réseaux de neurones, le système se retrouve à calquer aveuglément des comportements passés. Cette situation est problématique.

[à propos de TESCREAL] Il est important de se demander : "Quel est le fondement idéologique ?". Si vous le savez, vous pouvez vous demander alors : "Et si j'avais un fondement idéologique différent ? Comment la technologie serait-elle développée, alors" ?

Timnit Gebru (2023)

Le deep learning est un échec sociétal

La bulle deep a commencé depuis huit ans : quels sont les bénéfices concrets apportés par cette technologie pour l’humanité ? Pour les femmes ? Pour les travailleurs ou employés, col blancs ou cols bleus ?

Les "tropes sexistes et les stéréotypes racistes" sont profondément ancrés dans ces ensembles de données utilisés pour former des modèles d’IA, comme l’ont révélé les docteures Joy Buolamwini, Timnit Gebru, Safiya Umoja Noble ou encore Rumman Chowdhury.

Karen Sandoval (2024)

À reprendre les innombrables communications, dont celles de la puissance publique, les budgets engagés et les financements publics consentis, il faut s’y intéresser. A ce jour, force est de constater que les retours pour le public sont maigres. On pourrait même y voir un moyen de légitimer la puissance des acteurs majeurs du numériques, principalement états-uniens et chinois, qui bénéficie de la manne publique pour innover à peu de frais. Il faut, en passant, mentionner l’esclavage indirect des populations pauvres, à qui est confié les très pénibles tâches d’annotation des bases de données nécessaires aux algorithmes d’apprentissage automatique. Voire les micro-tâches réalisées par des humains pour les services faisant prétendument appel à l’IA, mais n’étant en réalité qu’un travail humain déguisé - on parle d’ailleurs d’intelligence artificielle artificielle. Amazon Mechanical Turk était honnête, lui.

Le constat est sévère

Il n’est pas lieu de condamner individuellement les ingénieurs ou scientifiques qui travaillent sur ces systèmes. Le propos est systémique, il concerne la communauté, les financiers, les décideurs politiques et économiques. C’est essentiellement un problème d’inculture scientifique et de méconnaissance technique. Investir des sommes importantes sur des technologies très complexes, coûteuses, dispendieuses en ressources et assez probablement inadaptées dans 90% des cas réels est une erreur stratégique. Doublé d’une erreur technique flagrante. En faire l’alpha et l’omega des sujets d’innovations publics et privés est un non-sens.

L'IA est vraiment intéressante et elle va changer le monde, mais en même temps, je déteste tellement ce battage médiatique actuel que j'ai décidé de l'ignorer totalement[...]. L'industrie de l'IA aujourd'hui, c'est 90% de marketing et seulement 10% de réalité. Dans cinq ans, les choses auront changé et nous verrons alors où l'IA est réellement utile.

Linus Torvalds (2024)

Inéluctabilité ?

C'est contre-intuitif : tous les éléments sont réunis pour que la bulle deep laisse place à un nouvel hiver de l’intelligence artificielle. L’attention médiatique est forte, les attentes économiques sont fortes, l’intérêt du politique est fort. La question de la rentabilité économique se pose. Ces outils apportent-ils de la valeur ? Sont-ils utiles ? Pour qui ?

Je suis content que les gens réalisent que les géants de la tech sont des fous. Enfin, pas complètement des fous, mais que ce sont des gens dangereux. C'est bien qu'on s'en rende compte.

Luc Julia (2025)

Pour les BigTechs, la réponse est oui. Ils ont construit leur succès autour de l’exploitation des données, à des fins principalement publicitaires pour Google et Meta. Amazon utilise massivement les algorithmes de profilage et de recommandation pour sa place de marché. Les organisations qui disposent de données massives et qui ont un intérêt à les traiter, que ce soit pour des contraintes opérationnelles ou pour proposer de nouveaux services, peuvent tirer profit de ces outils.

La question des compétences est cruciale. Construire un réseau de neurones profond capable de traiter de manière satisfaisante des téraoctets de données est extrêmement difficile. Les équipes sont très peu nombreuses. Les professionnels sont rares, surtout lorsqu’il s’agit de techniciens expérimentés. Pour ne rien arranger, les BigTechs accaparent les ingénieurs IA, profitant de leur image de marque et de salaires attractifs. Nos échanges avec les entreprises et industriels français vont tous dans ce sens : les membres du CAC40 recrutent difficilement des profils expérimentés. Il y aurait sûrement des parallèles historiques à faire, dans d’autres domaines.

Quel sera le déclencheur ?

Les prédictions sont difficiles, surtout quand elles concernent le futur, qu’on soit Niels Bohr ou Yogi Berra. Voici notre sentiment.

Le coup d’arrêt ne viendra pas de l’intérieur du domaine. Les véritables spécialistes de l’IA, dont nous ne faisons pas partie, qui portent un message critique sur les réseaux de neurones ne sont pas visibles médiatiquement, sauf peut-être Gary Marcus (New York University), Timnit Gebru. Le mode de financement de la recherche occidentale rend un tel revirement très improbable : trop risqué, trop extrême.

Le coup d’arrêt viendra peut-être de l’extérieur, sous la forme d’un scandale, d’un événement avec une charge symbolique forte. Plus forte que Cambridge Analytica, par exemple. Un scandale mondial sur un service qui délègue ses décisions à un algorithme ? Aux Etats-Unis ou peut-être en Chine ? Un drame où des gens devront mourir, en masse, pour que l’opinion publique réagisse ? La chute d’un des magnats de l’innovation comme Elon Musk ? La fin d’un des GAFA, Meta semblant mal embarqué dans son pari de Metaverse ? Le démantèlement, par application des procédures antitrust aux USA ? Difficile à dire.

Et si le coup d’arrêt ne venait pas ? Le désintérêt du public suivra une certaine lassitude : l’homme de la rue a compris que les réseaux de neurones et les LLM sont des outils puissants, c’est acté. A-t-il compris qu'il y avait aussi des enjeux politiques et sociétaux ? Le désintérêt pourrait aussi venir d’une déconnexion des avancées avec son expérience quotidienne : ce qui paraissait auparavant époustouflant est maintenant classique, comme converser avec un agent ou devenir une sorte d'agent (humain) d'agents (programmes). Les entreprises, lassées de payer des ingénieurs sans générer suffisamment de retours, pourraient stopper les frais.

Sans vouloir jouer les oiseaux de mauvais augure, nous ne sommes pas très optimistes sur le futur du domaine.

Je trouve fascinant qu'une foule de romanciers écrivent depuis des décennies sur les scénarios postsingularité dans lesquels des machines super-intelligentes existent. À ma connaissance, aucun romancier n'a pris en compte qu'une telle singularité serait presque certainement précédée d'un monde dans lequel les machines seraient intelligentes à, mettons, 0.01% et dans lequel des millions de personnes réelles pourraient interagir avec elles librement, pratiquement sans aucun coût.

Donald Knuth
Prix Turing 1974 (2022)

Pour ma part, je vais laisser ces travaux [sur ChatGPT] à d'autres et je vais consacrer mon temps à l'élaboration de concepts authentiques et dignes de confiance. J'espère que vous en ferez de même.

Donald Knuth
Prix Turing 1974 (2022)

Conclusion

Que retenons-nous ?

Il est tentant de proposer une lecture "psychologique" de la bulle.

Marvin Minsky est mort en 2016, deux mois avant la victoire de AlphaGo, lors des premiers frémissements de la bulle deep. De nombreuses personnes le tiennent responsable du long coma du mouvement connexionnisme dans les années 1970 et 1980. Il y a une forme d'ironie : les réseaux de neurones commencent leur règne au moment de son décès. La vengeance est décidément un plat qui se mange froid.

La domination technologique sans partage du deep learning est une ôde à l'efficacité et à l'aveuglement. Elle se fait au prix d’une consommation énergétique délirante, d’une opacité totale de la décision algorithmique et d’une démission intellectuelle. Pour quelle avancée théorique majeure ? Aucune.

L'apprentissage profond n'est pas la solution : ses aficionados admettent que “de nouveaux paradigmes sont nécessaires” pour le combiner avec un raisonnement complexe. C’est une formule classique en recherche, pour dire “nous n'avons pas la moindre idée de la suite”. C'est pourquoi la plupart des chercheurs en IA ont abandonné cet espoir initial, se tournant plutôt vers la résolution de tâches très spécialisées - souvent avec un succès spectaculaire.

Margaret Boden (2016)

Ça marche

La bulle deep est un mouvement d’ingénierie des données extrêmement complexe, qui a pris le parti de ne pas se préoccuper du sens et de confier ces tâches à des algorithmes.

Les technologies issues de la bulle deep iront compléter la boîte à outils des ingénieurs et scientifiques spécialistes de l’analyse des données. Des progrès majeurs ont été réalisés : la reconnaissance d'image fonctionne correctement, les traductions sont satisfaisantes, la génération de contenu est impressionnante, les agents conversationnels sont fonctionnels. Tout n'est pas à jeter, loin de là.

Le public gardera certains agents, avec les problèmes de perte d'emploi qu'ils créent déjà. Le monde économique partira sur d’autres voies, peut-être vertueuses, comme la réduction de l’impact écologique de nos activités.

Dans l'économie, les technologies émergentes vont s’industrialiser et se normaliser, comme à chaque cycle. Les bonimenteurs iront vendre leur soupe ailleurs et trouveront de nouveaux riches pigeons : l'informatique quantique, les cryptomonnaies ou la réalité virtuelle font rêver.

Ça marche, et après ?

De nombreux sujets se sont agrégés autour de l’IA. A peu près tous, en fait. La décision algorithmique infuse notre monde.

La technique n'est pas neutre, mais elle n'est pas isolée. L’inclusion et la diversité sociale des développeurs est un sujet historique, sociétal, éducatif. Les biais dans les données d'entraînement sont naturels, ils sont documentés par les études statistiques que doivent mener les data scientists avant de les injecter dans un modèle numérique, quel qu’il soit. Nous n'irons pas plus loin, de crainte de sortir des sujets que nous avons l'impression de maîtriser. Une foule de problématiques importantes doivent être adressées par la société et les techniciens. Les programmes ne s’écrivent pas tous seuls.

La mauvaise communication autour de l’IA entretient la confusion et le flou conceptuel. Ce flou permet de continuer à discuter en termes vagues et imprécis, en agitant les mains et en enfilant les déclarations de bonne volonté teintée d’eau tiède. Tout ça n'aboutira qu’à des impasses. D'ailleurs, comment discuter de l’éthique de la décision algorithmique si les décisions sont prises par des algorithmes qui sont des boîtes noires, dans lesquelles la tentation est grande d'injecter n’importe quoi, puisque ça fonctionne, mec ?

La capacité de parler ne te rend pas intelligent.

Qui-Gon Jinn, maître Jedi
(A long time ago, in a galaxy far, far away ... )

La décision algorithmique n’est acceptable que si elle est justifiable, acceptable et explicable. Utiliser un programme dont le fonctionnement est obscur ou mystérieux est a priori rédhibitoire. Ces limitations théoriques concernent les réseaux de neurones profonds, les grands modèles de langage (LLM) qui en sont une modalité d'application, et plus généralement les algorithmes d’apprentissage automatique dont la représentation interne de la connaissance est encore incomprise. Ce constat est simple, direct, factuel et devrait être partagé très largement par les pouvoirs publics.

[L'amère leçon]
La principale leçon que l'on peut tirer de 70 ans de recherche en IA, c'est que les méthodes générales qui savent exploiter la puissance de calcul sont en fin de compte les plus efficaces, et très largement.

Richard Sutton (2019)

Il n'existe pas d’algorithme pour l'intelligence artificielle générale [...] Il est beaucoup plus probable qu’une percée scientifique majeure soit nécessaire, et personne ne sait à quoi elle ressemblerait et encore moins des détails pour y parvenir.

Erik Larson (2021)

La seule question intéressante

Quelle avancée théorique permettra d’utiliser efficacement la puissance de calcul et les données que nous avons accumulées pour, enfin, progresser sur le chemin de l’intelligence générale ?

Références

Il faut voyager pour frotter et limer sa cervelle contre celle d'autrui.

Montaigne

La lecture est un voyage intellectuel. Nous vous proposons ici une sélection d'ouvrages sur l'intelligence artificielle et l'informatique. Comme d'habitude, Wikipedia a été d'une grande aide pour trouver des informations et identifier certaines citations. DeepL nous a aidé pour les traductions.

Mind as a machine

Margaret Boden, Oxford (2006)

Une référence absolue sur l’histoire des sciences cognitives, le contre-exemple parfait du livre de plage. "Il ne s'agit pas d'une histoire du passé, mais d'un compte rendu global de la discipline telle qu'elle se présente aujourd'hui" écrit un critique. Une référence de poids dans l’histoire des sciences cognitives, très fouillé et très ambitieux. Margaret Boden raconte une histoire des sciences cognitives, un domaine qui est le sien depuis les années 1960. A la fois illisible et indispensable. Tous les domaines sont abordés, des premiers pas dans le calcul automatique à la vie artificielle, en passant par l’apprentissage automatique, les réseaux de neurones et le traitement du langage. 1500 pages de texte, 130 pages de références, le travail d’une vie.

AI : Its Nature and Future

Margaret Boden, Oxford (2016)

Un livre plus court qui résume le domaine à grands traits dans un style direct et simple à lire. La lecture est très agréable et les personnages principaux du domaine sont convoqués. Ce petit ouvrage donne un aperçu du vaste domaine de l’IA et permet ainsi de prendre du recul sur la mode connectionniste actuelle.

A Brief History of Artificial Intelligence: What It Is, Where We Are, and Where We Are Going

Michael Wooldridge , Oxford (2021)

Ce livre se concentre sur l’apprentissage automatique des dernières années, en donnant les éléments de compréhension nécessaire. Un ouvrage de référence, à nos yeux. L'auteur est praticien du domaine. Il fait une revue historique du domaine de l'intelligence artificielle, avec un focus intéressant sur les réseaux de neurones. Le propos est clair, le livre se lit rapidement et le contenu est accessible. Un livre destiné à un large public, un peu différent du livre suivant mais peut-être plus direct.

Artificial Intelligence: A Guide for Thinking Humans

Melanie Mitchell, Santa Fe Institute, USA (2020)

Une plongée dans le monde de l'intelligence artificielle par une praticienne du domaine. Une approche critique, raisonnée et parfois grinçante de la frénésie actuelle autour de ces sujets. Ce livre offre une autre vision que le Wooldridge , mais les conclusions sont proches. A lire si vous voulez une vision de l'intérieur du domaine.

The Myth of Artificial Intelligence: Why Computers Can’t Think the Way We Do

Erik J. Larson (2021)

Un livre qui tient plus de l’essai que du panorama historique, mais amène une réflexion critique sur les développements actuels en apprentissage automatique. Il décrit le mythe de l’intelligence artificielle. « Le mythe ne consiste pas à dire qu'une véritable IA [générale] est possible. L'avenir de l'IA est inconnu. Le mythe de l'intelligence artificielle concerne l’inéluctabilité de son arrivée ». Les promoteurs de ces idées ne sont très majoritairement pas des spécialistes du domaine. Selon eux, l’émergence d’une IA de niveau humain, puis surhumaine, ne serait qu'une question de temps. Nous serions déjà engagés dans cette voie. « Ce n'est pas le cas et le chemin n'existe que dans notre imagination», affirme l’auteur. Un ouvrage rafraîchissant, clair et bien reçu par la critique.

Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence

Kate Crawford, Yale (2021)

Ce livre propose un tour d’horizon géographique sur l’industrie de l’apprentissage automatique actuel, dans sa version réseaux de neurones essentiellement. Matériaux, énergie, données, applications : l’ensemble des sujets sont abordés, notamment la provenance des jeux de données utilisés habituellement.

Intelligence artificielle. Résolution de problèmes par l’homme et la machine

Jean-Louis Laurière (1987)

Édité par les Editions Eyrolles, probablement épuisé. Une bonne référence qui présente le sujet de l'intelligence artificielle avec un prisme franchement technique : informatique, algorithmique, mathématique. La date de parution explique que l'auteur ne parle pas de deep learning, c'est appréciable. Aucune mention de connexionnisme non plus, ni de réseaux de neurones non plus. Une bonne référence pour aborder le sujet de l'IA par la face nord. Les étudiants sérieux peuvent le lire.

Computer: A History of the Information Machine

Martin Campbell-Kelly et al, 4th edition, (2023)
(cf livre suivant)

A New History of Modern Computing

Thomas Haigh, Paul E. Ceruzzi, MIT (2021)

L'irruption du processeur est une révolution technique et sociétale, qui a transformé le XXème siècle. Il est essentiel de comprendre les impacts profonds causés par l'arrivée des processeurs dans nos vies. Ces deux livres décrivent l'histoire de l'informatique sur un siècle. C'est passionnant. Le Haigh & Ceruzzi est très bon et très long. Le Campbell-Kelly est aussi très bon, mais plus court.

Auteurs

Frères

Nous sommes frères.
Bienvenue dans notre monde.

Nous sommes aussi data scientists. Nous travaillons dans le domaine de la science des données depuis 20 ans. Nos professeurs parlaient de mathématiques appliquées et d'informatique. Selon les standards étonnants du monde économique, nous sommes maintenant des spécialistes de l'intelligence artificielle. Devant nos pairs scientifiques et ingénieurs, nous déclarons maîtriser de manière convenable certains sujets relevant du traitement et de l'analyse des données.

Thomas est ingénieur centralien de Lyon et docteur en physique. Antoine est ancien élève de l'ENS de Cachan et mathématicien. Nous avons tous les deux une expérience de 10 ans en recherche, Thomas dans l'étude des plasmas de fusion observés dans les grandes installations expérimentales de confinement magnétique (tokamaks), Antoine dans la théorie des graphes probabilistes. Cette carrière scientifique nous a permis de développer une expérience solide dans le traitement scientifique des données, que nous appliquons depuis aux problématiques des entreprises.

Claviers

Nos éventuels lecteurs, perdus sur les internets ou en quête de contenus parfois techniques, auront trouvé ici matière à penser, espérons-le. Vous ne lirez pas, sortis de nos claviers, les éléments de langages ânonnés en boucle par les affreux incultes. Vous ne trouverez pas reproduit ici le matraquage médiatique des GAFAM. Vous n'aurez pas à subir un pâle plagiat de Wikipédia.

Ce document est issu de notre travail de documentation personnelle - peut-être aussi une forme d'exutoire personnel. Au lieu de ruminer dans notre coin, nous partageons nos opinions, nous mettons nos idées au clair. Écrire force à structurer sa pensée. Prendre du recul est nécessaire, et bénéfique ! Nous avons choisi de partager nos réflexions, articles et documents. En ces temps où les systèmes génératifs pourrissent le web, ce choix est militant.

Acteurs

Nous avons créé en 2018, avec deux autres associés (Laurie et Cyrille), la société AltGR. Installé au soleil d'Aix-en-Provence, notre datalab a travaillé pour la banque, la finance, le transport, l'aéronautique et les laboratoires de R&D publics et privés. AltGR a aussi construit des solutions informatiques pour l'Etat. Depuis nos débuts dans le monde de la R&D externalisée en 2014, notre équipe technique a réalisé près de 100 projets pour plusieurs dizaines de clients différents, de la startup au grand groupe.

Nous avons donc une expérience de l'ensemble des techniques de traitement de données, dont la réalisation d'études statistiques, la conception de systèmes experts, l'utilisation d'algorithmes d'apprentissage automatique et la création d'heuristiques de calcul en recherche opérationnelle. Nous avons accompagné l'émergence du mouvement BigData et l'irruption fracassante de l'intelligence artificielle dans les problématiques d'innovation numérique des entreprises. Nous sommes donc des acteurs de cette révolution, et des témoins privilégiés de ce moment puisque nous construisons les outils intelligents qui font l'actualité. Ce texte est issu de notre observation du réel.

Fin

Thomas > Je précise que les erreurs et imprécisions qui subsisteraient sont bien entendu de mon fait. L'ensemble du document a été rédigé par des humains, preuve que les programmes sont encore bien trop cons.

Contact: @t.gerbaud.xyz (BlueSky) ou thomas(arobase)gerbaud(point)xyz
Site web: http://algonaute.fr

* * *